Han blev født på Arresødal som søn af justitsråd Ole Fensmark og dennes anden hustru Laurense, født Lund. Han indledte en militær karriere kun tolv år gammel (1809) som kadet og fortsatte som officer, idet han blev sekondløjtnant i 1812, premierløjtnant i 1828 og kaptajn i 1836. I 1839 udnævntes han til kommandør for 3. batteri.
I 1848 udnævntes han til kammerherre, og Frederik 7. overtog ham som sin adjudant. Han havde et nært forhold tii kongen, som satte pris på hans ironiske begavelse, og som også selv var en original personlighed.
Da Frederik 7. i 1859 udnævnte Fensmark til generalmajor og generaladjudant for landetaten uden om krigsministeren, C.C. Lundbye, tog denne sin afsked i protest. Normalt skulle krigsministeren give sin kontrasignatur. Fensmark forlod selv militæret i 1864, året efter Frederik 7.s død. Inden da var han også avanceret i ordensvæsenet. Han blev Ridder af Dannebrog1840, Dannebrogsmand1845, Kommandør 1851 og Storkors 1863 (tildelt af Christian 9.).
De fik bl.a. sønnen Ole Frederik Emil Fensmark (10. december 1837 i København – 19. oktober 1888), der døde ugift[1], datteren Caroline Amalie Rudolphine Fensmark (19. december 1843 i København – 17. november 1894), der blev gift med Holger Vitus Louis Dornonville de la Cour[2] og datteren Octavia Fensmark, som fik sit fornavn, fordi hun var ottende barn og født otte dage efter Christian 8.'s død.[3]
Han erhvervede og bosatte sig på Farumgaard i 1842. Dette blev en stor økonomisk byrde for ham, selv om han gjorde mange forsøg på at øge indtægterne fra driften. Han dækkede underskuddene ved at optage adskillige lån i den kongelige partikulærkasse, hvilke Frederik 7. og grevinde Danner var villige til at eftergive ham, men det satte kammerherre Berling en stopper for.
Han døde på Farumgaard i 1871 og er begravet på kirkegården ved Farum Kirke. Mod Farum Sø har denne kirkegård et kampestensdige, der foroven er dækket af teglsten, og det var J.H. Fensmark, som lod dette anlægge i 1847.
