Han var sønn av skipsreder, kjøpmann og skipsbygger Mads Henrik Tybring Smith og hans danske hustru Henriette Brahde, og ble født som nummer tre i søskenflokken på syv. Han reiste til sjøs som fjortenåring på en av hans fars seilskuter. Han ble styrmann allerede som 17-åring på briggen «Tvedestrand». Da han var 21 fikk han skipperborgerskap, og ble kaptein på briggen «Den syttende mai», senere på barken «Oxefia», hvor han reiste til blant annet USA, Panama, Rio de Janeiro, Amsterdam og England. I 1852 ga han opp sjømannslivet, og byttet ut hans gamle borgerbrev med et handelsborgerbrev i Arendal året etter. Han ble kompanjong med sin svigerfar, og etter at svigerforeldrene døde, ble selskapet delt mellom ham og svogeren Jens T. Thommesen, som sammen utvidet selskapet. Smith ble etter hvert seniorsjef i Handelshuset Thommesen - Smith, og var i en periode Arendals rikeste mann. 21. januar1885 ble han ridder av St. Olavs Orden for almennyttig virksomhet.
Etter en måneds ferie i Sverige, Danmark og Tyskland sammen med sine to søstre, bosatte de seg i Arendal på Langbryggen i ett av Thor Thommesens hus. De bodde etter dette en periode i huset til bestemor til Alice, også på Langbryggen, så til hjørnet av Kirkegaten og Havnegaten. I 1866 kjøpte Smith landstedet Frednes ved Longumvannet, og brukte dette som sommerbolig. I bybrannen i 1868 mistet de sitt hjem i Arendal by, og flyttet midlertidig til Frednes. Der døde Alice i sin ellevte barnefødsel, kun 36 år gammel, 19. juni1869. Han kjøpte 11. desember1871 en tomt i Tollbodgaten for 6 600 kr, hvor han fikk reist en murbygning som han brukte som bolig. Bygningen kom på 57 000 kr. Der bodde han til sin død, hvoretter den ble solgt 30. mars1906 for 42 000.
Ekteparet fikk sammen elleve barn, hvor fem vokste opp. Smith hadde liten nærhet med sine barn, og de ble tatt mest vare på av sin bestemor Hanne Thommesen. Hans fire døtre ble alle tidlig gift, Hanne i 1874 med skipsreder Christian Stephansen, Thora i 1875 med skipsreder Oscar Herlofsen på Strømsbu gård, Henriette i 1884 med kammerherre Hans Paasche Thorne, og Julie i 1885 med brukseier Willem Stibolt. Smith forble enkemann resten av livet, og fikk 34 barnebarn.
Sønnen Mads Henrik Smith (1860–1920) overtok farens interesser i handelshuset etter faren døde. Han ble i 1884 gift med Anna Sophie Dedekam Geelmuyden (1864-), datter av ordfører i Arendal, Anders D. Geelmuyden, og Anna Sophie Dedekam (1835-1864): se Dedekam (slekt). Da Mads Henrik døde 7. juli1933 gikk selskapene tilbake i sin fullhet til Thommesenslekten. Mads og Anna Sophie fikk flere barn, blant annet maleren Julius Smith
Kilder
Aalholm, Olav Anton & Vevstad, Andreas: Handelshuset Thommesen-Smith, Rygene Træmassefabrikker, 1983
