Berg, Sohn des Opernsängers und Komponisten Isaak Albert Berg (1803–1886) und dessen Ehefrau Carolina „Lina“ Hjortsberg (1807–1868), war von Kindheit an gehörlos. Er besuchte 1841 eine Taubstummenschule in Paris, 1848 das Manilla-Institut für Gehörlose und Blinde in Stockholm. In den Jahren 1851 bis 1853 studierte er an der Kunstakademie Stockholm Malerei. 1853 reiste er in Begleitung seiner Familie nach Düsseldorf, wo er bei dem Landschaftsmaler Andreas Achenbach Privatunterricht nahm.[1] Danach unternahm er Studienreisen an die Küsten von Holland, Belgien und Frankreich, wo er sich Ary Scheffer anschloss und die Reise nach Italien fortsetzte. Rund zehn Jahre verbrachte er vor allem mit Studien an den Küsten von Nord- und Ostsee sowie dem Mittelmeer, ehe er 1865 nach Schweden zurückkehrte, wo er 1860 Agré der Stockholmer Akademie geworden war. 1867 heiratete er Anna Charlotta Maria Nylén (1838–1926), die Tochter des Kapitäns Pehr Gustaf Nylén. Interessiert an der Gehörlosenbildung gründete er 1868 mit Ossian Edmund Borg (1812–1892) und Fritjof Carlbom (1835–1890) einen Gehörlosen-Verein, die Döfstumsföreningen, später Stockholms Dövas Förening genannt.
Die schwedische Schriftstellerin Agneta Pleijel, mütterlicherseits eine Nachfahrin Bergs, behandelte das Leben der Sängerin Helena Sophia Petré, geborene Berg (1834–1880), und ihres Bruders, des Malers Albert Berg, in dem 2009 erschienenen Roman Syster och bror.
Berg, Josef Albert Soult. In: Herman Hofberg, Frithiof Heurlin, Viktor Millqvist, Olof Rubenson (Hrsg.): Svenskt biografiskt handlexikon. 2. Auflage. Band1: A–K. Albert Bonniers Verlag, Stockholm 1906, S.74 (schwedisch, runeberg.org).
↑Bettina Baumgärtel, Sabine Schroyen, Lydia Immerheiser, Sabine Teichgröb: Verzeichnis der ausländischen Künstler und Künstlerinnen. Nationalität, Aufenthalt und Studium in Düsseldorf. In: Bettina Baumgärtel (Hrsg.): Die Düsseldorfer Malerschule und ihre internationale Ausstrahlung 1819–1918. Michael Imhof Verlag, Petersberg 2011, ISBN 978-3-86568-702-9, Band 1, S. 426