Mandeljštam je rođen u Varšavi, u bogatoj židovskoj obitelji. Otac mu je bio kožar koji se ubrzo nakon Osipova rođenja s obitelju preselio u Petrograd. Godine 1900. Mandeljštam polazi prestižnu školu Teniševski. Prve su mu pjesme tiskane u školskom listu 1907.
U travnju 1908. kreće na Sorbonu na studij književnosti i filozofije, ali već iduće godine prelazi na Sveučilište u Heidelbergu.
Svoje nonkonformističke stavove izrazio je 1933. u poznatom djelu "Staljinovi Epigrami". Šest mjeseci nakon objavljivanja je uhićen. Protjeran je u područje Urala, ali se kasnije nastanio u Voronježu. Iako kasnije nastoji veličati Staljina, opet je uhićen i osuđen na prisilni rad te uskoro i umire.