W latach 1770–1774 Philipp Carl von Alvensleben pracował w pruskim sądownictwie. Od 1 października1770 był referendarzem w Prenzlow, a potem w Magdeburgu i Halberstadt, następnie w sądzie odwoławczym (Obergericht) w Stendal (1772). W latach 1774–1775 był kawalerem dworu księżniczki pruskiej.
W tym czasie został też deputowanym stanów Starej Marchii.
W latach 1775–1787 był pruskim posłem w Dreźnie. W roku 1787 razem z saskim ministrem von Stutterheimem podpisał tajną konwencję w sprawie sukcesji bawarskiej. W tym samym roku został członkiem honorowym berlińskiej Akademii Sztuk i Nauk (Akademie der Künste und Wissenschaften).
W 1788 został posłem nadzwyczajnym Królestwa Prus w Holandii. 13 czerwca tego roku podpisał preliminaria, które doprowadziły wkrótce do sojuszu prusko-holendersko-brytyjskiego. W 1789 roku został posłem w Londynie (do 1791).
1 maja1791 został szefem Kabinettsministerium = pruskim MSZ (Geh. Staats-, Kriegs- und Kabinettsminister), W 1792 przyjęty do zakonu czerwonego orła. W 1798 otrzymał Order Czaernego Orła. Po śmierci Karla Wilhelma Fincka von Finckensteina (1800) został (w 1801) najważniejszym ministrem gabinetu i jedynym kierownikiem pruskiej polityki zagranicznej.