Der Sohn des Musikalienhändlers und Klavierlehrers Herman Wilhelm Neupert trat schon siebenjährig als Pianist auf. Im Alter von 15 Jahren ging er nach Berlin und studierte dort Klavier bei Theodor Kullak und Komposition bei Friedrich Kiel. 1864 gab er ein Konzert im Haus der Sing-Akademie zu Berlin, das begeistert aufgenommen wurde – man verglich ihn mit Franz Liszt, Anton Rubinstein und Carl Tausig. Von 1866 bis 1868 unterrichtete er Klavier am Stern’schen Konservatorium.
Nach einem erfolgreichen Konzert in Kopenhagen holte ihn Niels Wilhelm Gade als Lehrer an das Musikkonservatorium, wo er bis 1880 unterrichtete. Er beriet Edvard Grieg bei der Komposition von dessen Klavierkonzert a-Moll. Grieg widmete ihm das Werk, und er spielte 1869 die Uraufführung in Kopenhagen.
1880 nahm er das Angebot der Brüder Anton und Nikolai Rubenstein für eine Klavierprofessur am Moskauer Konservatorium an. Wegen der politischen Unruhen nach der Ermordung von Zar Alexander II. kehrte er schon 1881 nach Norwegen zurück und gründete in Christiania die Klaverskole for Børn og Viderekomne. Er konnte sich hier jedoch gegen die Konkurrenz der populären Klavierlehrer Erika Nissen und Agathe Backer Grøndahl nicht durchsetzen und brach zu einer Konzertreise in die USA auf. Dort wurde er 1882 Professor für Klavier an der neu gegründeten Musikhochschule in New York.
Als Komponist wurde Neupert mit Klavierwerken bekannt, darunter etwa 120 Etüden (24 Concert-Etüden, 24 Octav-Etüde, Poetiske Etuder) und Charakterstücken wie Valse noble, Romance og Ballade, Før Slaget, Norwegische Ballade und die Sammlung 8 Studier.
