Rodio se u Vukovaru u obitelji Vladimira i Barice rođene Šimecki, koji su prethodno živjeli u Krašiću, odakle su i rodom, no potom su se preselili u Vukovar gdje je otac dobio namještenje kao državni službenik. Nešto više od godinu dana kasnije, otac mu je nestao za vrijeme „vukovarske kristalne noći”, 12. travnja1945., a vjerojatno su ga ubili komunisti. Te noći bez ikakva suđenja nestala su 92 Vukovarca. Dan kasnije smaknuto je još 98 osoba. Ukupno je u poslijeratnom komunističkom teroru ubijeno 384 mještana Vukovara i većini se ne zna gdje su pokopani. Nakon te stravične noći Josip se s majkom i sestrom vraća u Krašić. Spomen na oca i žrtve dočekao je 2008., kad je ispred župne crkve sv. Filipa i Jakova postavljen zavjetni križ za sve nevine hrvatske žrtve komunističkog terora koji je počeo nakon ulaska partizanskih snaga u Vukovar. Prisjećanje na stotine žrtava počelo se obilježavati 2004. godine.[2]
Iz tog vremena Mrzljak navodi da je Tito, u pratnji Koste Nađa i Aleksandra Rankovića, rekao građanima na Kapucinskom trgu u Varaždinu 20. svibnja 1945.: »U Varaždin nisam došao službeno govoriti o politici, već da obiđem jedinice JA koje u okolici obavljaju važne zadaće na konačnom obračunu s hrvatskim smradom.«[3]
Za biskupa je zaređen 6. veljače1999. te je primio službu pomoćnog biskupa zagrebačkog. Kao pomoćni biskup zagrebački obnašao je razne dužnosti na razini Hrvatske biskupske konferencije. Tako je bio predsjednik Vijeća HBK za kler, predsjednik Hrvatskog Caritasa, predsjednik biskupske komisije HBK za Hrvatski Caritas i predsjednik biskupske komisije HBK za odnose s državom.
Godine 2020. objavljen je zbornik Činiti dobro, u povodu Mrzljakove 75. obljetnice života, 50. obljetnice svećeništva i 20. obljetnice biskupstva. Uz ostalo, zbornik donosi i izbor iz njegovih tekstova, propovijedi i poruka.[6]
