Hann var fæddur í Laufási við Eyjafjörð, sonur séra Björns Halldórssonar og konu hans Sigríðar Einarsdóttur. Hann lauk stúdentsprófi frá Lærða skólanum1877 og guðfræðiprófi frá Kaupmannahafnarháskóla1883. Hann var prestur í Reykholti og prófastur í Borgarfjarðarprófastsdæmi frá 1884 til 1885. Fékk Akureyri í brauðaskiptum við séra Guðmund Helgason 1885. Varð kennari við Prestaskólann 1885 og forstöðumaður hans 1894. Hann var alþingismaðurBorgfirðinga 1894-1900 og 1902-1908, fyrst utanflokka en síðan fyrir Heimastjórnarflokkinn. Einnig sat hann í bæjarstjórn Reykjavíkur 1888-1906. Árið 1908 var hann skipaður biskup yfir Íslandi og gegndi því embætti til dauðadags.
Þórhallur bjó lengst af í Laufási við Laufásveg í Reykjavík og rak þar blómlegan búskap. Kona hans var Valgerður Jónsdóttir (27. janúar 1863 - 28. janúar 1913), fósturdóttir Tryggva Gunnarssonar bankastjóra og alþingismanns. Börn þeirra voru Tryggvi forsætisráðherra, Svava, Björn og Dóra, kona Ásgeirs Ásgeirssonar forseta Íslands.