Heinäkuussa 1719 Osterman lähetettiin Tukholmaan mukanaan rauhantarjous Ruotsin kuningaspuoliso Fredrikille, mutta hän joutui palaamaan tyhjin käsin.[4] Hän oli vuodesta 1720 ulkoasiainkollegion jäsen.[2] Suuren Pohjan sodan vuonna 1721 päättäneissä Uudenkaupungin rauhanneuvotteluissa Osterman ja Bruce johtivat jälleen Venäjän valtuuskuntaa. Osterman palkittiin samana vuonna paronin arvolla.[4][5] Vuonna 1723 hän allekirjoitti Persian kanssa sopimuksen, jolla Venäjä sai lisäalueita Kaspianmeren rannikolta, muun muassa Bakun ja Derbentin kaupungit.[1] Tästä hyvästä Pietari Suuri nimitti hänet samana vuonna ulkoasiainkollegion varapuheenjohtajaksi eli käytännössä apulaisulkoministeriksi.[1][3]
Pietari Suuren seuraajaksi vuonna 1725 tullut Katariina I nimitti Ostermanin varakansleriksi ja antoi hänen vastuulleen kruununprinssi Pietarin kasvatuksen. Ostermanista tuli myös hallitusasioista vastanneen salaneuvoston jäsen, valtakunnan postilaitoksen johtaja ja vuonna 1727 kauppakomission puheenjohtaja.[1][4][2] Käytännössä hän sai ulkopolitiikan johtoaseman ja vahvan otteen myös talousasioissa.[1][5] Hänen vaikutuksestaan Venäjä liittoutui Itävallan kanssa liittymällä vuonna 1726 Wienin liittoon.[2] Ostermanin asemansa säilyi vahvana Katariinan seuraajaksi vuonna 1727 tulleen alaikäisen Pietari II:n aikana, varsinkin ruhtinas Aleksandr Menšikovin tultua syrjäytetyksi myöhemmin samana vuonna.[1][5][3]Dolgorukovin suvun edustajat onnistuivat työntämään Ostermanin hetkeksi syrjään, ja hän jättäytyi sairauteen vedoten pois salaneuvoston kokouksesta, jossa valittiin vuonna 1730 kuolleelle Pietarille seuraaja.[5][4]
Osterman auttoi uudeksi hallitsijaksi valittua keisarinna Annaa saavuttamaan yksinvaltaisen ja salaneuvostosta riippumattoman aseman, joten Anna palkitsi hänet kreivin arvolla kruunajaistensa yhteydessä. Osterman jatkoi varakanslerina, ja Anna nimitti hänet vuonna 1731 salaneuvoston tilalle perustetun ministerikabinetin toiseksi kabinettiministeriksi ja vuonna 1734 johtavaksi ministeriksi.[4][1][5][3] Annan hallitsijakautena Venäjän hallitusta johti kolme saksalaista: Osterman, kreivi Ernst Johann von Biron ja sotamarsalkka Burkhard Christoph von Münnich.[5][3] Heistä Osterman johti ulkopolitiikkaa. Tänä aikana Venäjä osallistui vuosina 1733–1738 Puolan perimyssotaan ja kävi samanaikaisesti vuosina 1735–1739 sodanOsmanien valtakuntaa vastaan. Viimeksi mainittu sota ei tuonut Venäjälle kovin laajoja valloituksia lukuun ottamatta Bugin ja Donetsin välistä maa-aluetta ja Azovin satamakaupunkia, jota Venäjä ei saanut linnoittaa. Lisäksi Venäjä joutui vuonna 1732 luovuttamaan joitakin alueita takaisin Persialle.[1][5]
”Ostermanin järjestelmä” perustui Venäjän ja Itävallan liittosuhteeseen, jota täydensivät liittosopimukset Preussin, Tanskan ja myöhemmin myös Ison-Britannian kanssa.[3][2] Tarkoituksena oli tuoda Venäjälle turvaa Osmanien valtakuntaa vastaan ja heikentää Ranskan vaikutusvaltaa itäisessä Keski-Euroopassa.[3] Venäjän ja Itävallan liittoa vahvisti kruununperijä Anna Leopoldovnan avioliitto Habsburgien lähisukulaisen, Braunschweigin prinssi Anton Ulrichin kanssa.[3][5]
Anna määräsi hieman ennen kuolemaansa vuonna 1740 suosikkinsa Bironin alaikäisen seuraajansa Iivana VI:n sijaishallitsijaksi vastoin Ostermanin neuvoa.[5] Münnich syrjäytti Bironin jo muutaman viikon kuluttua, ja uudeksi sijaishallitsijaksi tuli Iivana VI:n äiti Anna Leopoldovna, joka antoi Ostermanille kenraaliamiraalin arvon.[1][4][5] Osterman syrjäytti puolestaan Münnichin maaliskuussa 1741 ja oli sen jälkeen hallituksen johtaja vailla kilpailijoita.[5][3] Valtataistelut heikensivät Venäjän johtoa, ja heinäkuussa 1741 Ruotsi aloitti uuden sodan.[5] Ruotsia yllytti sotaan Ranska, joka halusi estää Venäjää tulemasta Itävallan avuksi edellisvuonna puhjenneessa Itävallan perimyssodassa.[6] Joulukuussa 1741 Pietari Suuren tytär Elisabet kaappasi vallan Ostermanin ulkopolitiikkaa vastustaneen Ranskan suurlähettilään Jacques-Joachim de La Chétardien tuella. Iivana VI, sijaishallitsija Anna Leopoldovna ja Osterman syöstiin kaikki vallasta.[1][5]
Elisabet syytti Ostermania siitä, että tämä oli estänyt häneltä laillisen valtaannousun aiempien hallitsijanvaihdosten yhteydessä.[2] Ostermania syytettiin myös korruptiosta ja muista rikoksista ja hänet tuomittiin aluksi kuolemaan teilaamalla, joskin Elisabet lievensi teloitustavan mestaukseksi. Keisarinnan määräyksestä Osterman armahdettiin tammikuussa 1742 viime hetkellä mestauslavalla ja rangaistus lievennettiin edelleen elinikäiseksi karkotukseksi Siperiaan.[5][2][4] Hän kuoli karkotuksessa Berjozovossa Siperiassa vuonna 1747.[4][1]
Perhe
Ostermanin puolisona oli vuodesta 1721 Marfa Strešneva. Heillä oli kolme poikaa,[3] joista Ivan Osterman toimi diplomaattina ja kohosi 1700-luvun lopulla valtakunnan varakansleriksi ja kansleriksi.[4] Toinen poika Fjodor Osterman oli kenraali Venäjän armeijassa. Ostermanin tytär Anna nai kenraali Matvei Tolstoin, ja heidän poikansa oli kenraali Aleksandr Osterman-Tolstoi.[3]