Nato nel 1813 a Enfield Town da genitori nonconformisti, era originariamente destinato ad una carriera teologica, ma poi entrò come praticante in uno studio di un avvocato solicitor. Nel tempo libero studiò da autodidatta materie classiche tanto che, quando entrò all'University College di Londra, vinse entrambi i premi di latino e greco. Nel 1830 entrò come praticante al Gray's Inn, ma abbandonò gli studi legali per un posto all'University College School e iniziò a scrivere di materie classiche.
Nel 1850 pubblicò il primo dei suoi dizionari per studenti e nel 1853 cominciò la serie dei Principia, che segnò un importante passo avanti nello studio inglese della lingua latina e di quella greca. Poi fu la volta dello Students' Manuals of History and Literature, manuale per lo studente di storia e letteratura, al quale contribuì alla parte di storia greca. Nello sviluppo di quest'opera Smith fu chiamato dall'editore John Murray, che aveva rilevato una quota del progetto dagli originali editori caduti in difficoltà economiche.
Forse i più importanti libro su cui lavorò Smith furono quelli su soggetti ecclesiastici. Dictionary of the Bible (1860-1865), Dictionary of Christian Antiquities (1875-1880), in collaborazione con l'arcidiaconoSamuel Cheetham e Dictionary of Christian Biography (1877-1887), scritto in collaborazione col reverendoHenry Wace.
The Atlas, in collaborazione con sirGeorge Grove, fu pubblicato nel 1875. Dal 1853 al 1869 Smith fu esaminatore di materie classiche all'Università di Londra e, al suo pensionamento, divenne membro del senato accademico. Si occupò soprattutto di questioni di diritti d'autore e fu per molti anni segretario responsabile per il Royal Literary Fund. Nel 1854-1855 pubblicò Edward Gibbon, con note di François Guizot e Henry Hart Milman.
Nel 1867 pubblicò per la rivista Quarterly Review, che egli stesso diresse con notevole successo fino alla morte, grazie anche alle sue rimarchevole doti di memoria e precisione, al suo tatto e alla sua cortesia.
Onorificenze e morte
Fu Doctor of Civil Law ad Oxford e Dublino e fu nominato cavaliere un anno prima della sua morte, avvenuta il 7 ottobre 1893, all'età di 80 anni.