1771 blev han sognepræst til Skien. Hans hustrus sindssygdom nødede ham til at søge et roligere hjem, og han blev da 1774 forflyttet til Fron i Gudbrandsdalen, hvor han året efter blev provst. 1783 blev han sognepræst til Nykirken i Bergen, som han 1791mageskiftede med Sunds Sognekald i stadens nærhed. Allerede i Bergen var han begyndt at sløves, og da han på Sund gav sig af med at dyrke de golde myrstrækninger, tiltog hans sløvhed med den økonomiske elendighed, så han i sine sidste år var uden for al virksomhed. Han døde 29. august 1812.
Topograf
Ved sin Physisk og ekonomisk Beskrivelse over Gulbransdalens Provstie I–II (København 1785-86) fik han stor anseelse som skribent, og den store bog, skrevet under travl embedsvirksomhed dybt inde mellem fjeldene med ringe tilgang af hjælpemidler, røber megen flid og skarp iagttagerevne, men hæver sig ikke over andre samtidige topografiske skildringer. I Gudbrandsdalen hendrog han også autoriteternes opmærksomhed på sig ved oprettelsen af de første kornmagasiner.
Ægteskaber
Hjorthøy blev gift første gang 3. november 1771 i Norderkov med Bolette Marie Braag (1. maj 1746 i Christiania - 27. januar 1776 i Fron), datter af jernværksejer Lars Braag og Margrethe Andersdatter Mehle, anden gang 1776 (1780?) med hendes søster Maren Braag (døbt 21. maj 1750 - 13. april 1826 i Tysnes).