Apparteneva ad una delle più antiche e nobili famiglie della Prussiae della Sassonia, vantante numerosi vescovi, politici, generali e tra questi, Joachim I von Alvensleben era stato consigliere personale di Federico il Saggio, principe elettore di Sassonia. Il padre di Johann Friedrich, il conte Gebhard XXV von Alvensleben, era un celebre poeta, mentre suo fratello Karl August I von Alvensleben era uno storico.
Alvensleben studiò all'Università di Lipsia, compiendo dopo la fine degli studi, viaggi in Europa, nei Paesi Bassi, in Inghilterra, in Francia, in Italia e in Svizzera, imparando in tal modo svariate lingue, e si fermò per molto tempo a studiare a Saumur. Tornato in Germania, a causa delle sue dotte conoscenze, fu chiamato a corte dal duca Antonio Ulrico di Braunschweig-Wolfenüttel, che lo fece gentiluomo di camera e poi magistrato. Dal 1687 Alvensleben fu ambasciatore presso la Repubblica di Venezia e poi comandò un contingente di truppe del Braunschweig nell'esercito imperiale durante la guerra contro i turchi.
Lasciato il Braunschweig nel 1688, Alvensleben si mise a servizio presso il duca Ernesto Augusto di Brunswick-Lünenburg, ad Hannover, presso la cui corte ebbe una brillante carriera politica: presidente del consiglio di guerra e del consiglio estero nel 1691, dal 1703 era ambasciatore presso la città libera di Danzica. In questo periodo von Alvensleben si distinse come un potente e munifico mecenate, specialmente nei confronti di Leibnitz, per il quale curò la Gottfried Wilhelm Liebnitz Bibliothek.
Alvensleben inoltre fu autore del grandioso progetto di unire il Brunswick alla Danimarca, mai attuato: era infatti convinto che il principe ereditario di Danimarca, (futuro Federico fosse malaticcio e prossimo al decesso, e pensò allora di far sposare il secondogenito del suo signore, Federico Augusto, con la giovanissima principessa Cristiana Carlotta di Danimarca (1679-1694), secondogenita di Cristiano V e possibile erede alla morte di Federico. La sterilità di Federico Augusto, convinse Alvensleben a far sposare la principessina danese con il padre di questi, Ernesto Augusto di Brunswick-Lünenburg, che divorziò perciò dalla amata moglie Sofia del Palatinato e sposò nel 1693 la giovanissima Cristiana Carlotta, che Alvensleben convinse di averla il prima possibile, cercando di assicurare un erede. Cristiana Carlotta gennaio 1694 partorì un figlio, Cristiano Federico, che morì durante il parto assieme alla madre, che doveva ancora compiere quattordici anni. Ernesto Augusto risposò quindi Sofia, e l'avventura danese naufragò per sempre.
Nominato primo ministro da Giorgio I, Alvensleben si alleò durante la Grande Guerra del Nord contro gli svedesi, riuscendo ad ottenere al termine di questa Brema e Verden per l'Hannover. Alvensleben ricoprì altre numerose cariche amministrative sotto Federico Guglielmo I, che lo volle commissario reale a Weltzar e ambasciatore presso Carlo VI del Sacro Romano Impero.
Figlio del conte Johann Friedreich II fu Rudolf Anton von Alvensleben, che ricoprì come il padre la carica di primo ministro nel Brunswick, mentre suo nipote Johann Friedrich Karl von Alvensleben fu un noto giurista; da lui in linea diretta discese il ramo degli Alvensleben-Neugatterlesleben.
.svg){kind=small}
