Народився в Кишиневі в родині адвоката Бориса Соломоновича Гольденвейзера.
Закінчив в 1895 році Московську консерваторію по класу фортепіано П. А. Пабста (раніше займався в А. І. Зілоті), в 1897 році по класу композиції М. М. Іпполітова-Іванова. Учився також композиції в А. С. Аренського й контрапункту в С. І. Танєєва.
Працював учителем музики при московському сирітському інституті Імператора Миколи І. В 1907 році виступав у складі Московського тріо, заміняючи піаніста Давида Шора.
В 1906—1961 роках — професор Московської консерваторії по класу фортепіано.
В 1936—1939 роках — завідувач кафедрою фортепіано, в 1918—1922 й 1932—1939 роках заступник директора (проректор), в 1922—1924 й 1939—1942 роках — директор (ректор) Московської консерваторії.
Автор трьох опер («Бенкет під час чуми» (за О. С. Пушкіним), «Співці», «Весняні води» (за І. С. Тургенєвим), кантати «Світло Жовтня», камерно-інструментальних ансамблів, фортепіанних п'єс, романсів (усього понад 40 музичних творів). Автор ряду критичних статей, мемуарів.