Han er bredt anerkendt som værende en af de største cellister i det 20. århundrede og var med over 100 værker samtidig en af de mest produktive. Særligt kendte er hans fortolkninger af Dvořáks cellokoncert i H-mol og af Haydns cellokoncerter. Han bidrog desuden til øge repertoiret for cello ved at få komponister som Sjostakovitj, Prokofjev, Britten, Lutosławski, Penderecki og Dutilleux. Rostropovitj blev kendt for sin særlige intense og ekspressive spillestil.
Rostropovitj påbegyndte sin uddannelse ved musikkonservatoriet i Moskva i 1943, hvor han udover piano og cello også studerede komposition. Blandt Rostropovitjs undervisere var Dmitrij Sjostakovitsj og Sergej Prokofjev. Han blev i 1956 udnævnt til professor ved konservatoriet. I 1950'erne spillede han kammermusik med førende sovjetiske musikere, og i 1968 fik han debut som operadirigent i Moskva.
Han vendte tilbage til Rusland i 1990, hvor udvisningen udløb. På sin 80-års fødselsdag oplevede han anerkendelse fra det officielle Rusland, personificeret ved Vladimir Putin, der mødte frem for at gratulere ham.
I lighed med mange andre kendte fra Rusland er han stedt til hvile på Novodevitjekirkegården i Moskva.
