Johan Martin Ferner era fill del sastre Ferner Jacobsen, propietari d'uns grans magatzems,[3] i la seva esposa, Ragnhild Olsen. Amb els anys, ell i alguns dels seus germans van adoptar el nom de pila del seu pare com a cognom.[2]
Després d'estudiar a Anglaterra i França va treballar a la firma de roba del seu pare a Oslo, i després de la seva mort, el 1964, junt amb el seu germà, es van fer càrrec de la firma amb èxit. El 12 de gener de 1961 es va casar amb la princesa Astrid. Astrid i Johan van tenir cinc fills, tres filles i dos fills. Va morir després d'una breu malaltia a l'Hospital Estatal d'Oslo, de 84 anys.[4]