Kynntist Þórunni Hjörleifsdóttur frá Skinnastað og eignaðist með henni dóttur utan hjónabands 1866. Eignaðist aðra dóttur milli kvenna 1875 með ungri ekkju frá Halldórsstöðum í Laxárdal, Sigríði Þórarinsdóttur, en ekki giftist hann henni.
Giftist í annað sinn 16. okt. 1876 og nú Þórunni Hjörleifsdóttur barnsmóður sinni og settist að í Svarfaðardal. Fyrst var hann á Tjörn, síðan á Völlum en að lokum í Gullbringu. Í Gullbringu reisti hann sér málarastofu við bæinn sem enn stendur og kallast Arngrímsstofa.
Sundmaður og bókbindari
Arngrímur lærði snemma sund sem þá var fáum lagið og var talinn með allra bestu sundmönnum. Íþróttina mun hann líklega hafa lært með sjálfsnámi og aðstoð bókarinnar Sundreglur Nachtegalls sem Jónas Hallgrímsson þýddi. Hann kenndi sund víða um Norðurland á árabilinu 1850-1885 og var meðal brautryðjenda á því sviði.
Hann nam rennismíði í Reykjavík um 1850, en fékkst lítið við þá iðn, þó eru til renndir smíðisgripir eftir hann.
Arngrímur lærði bókband af föður sínum og stundaði síðan nám í bókbandi hjá Grími Laxdal bókbindara á Akureyri 1852-1853 og fékk þar sveinsbréf. Hann fékkst síðan við bókband um árabil með öðrum viðfangsefnum sínum og þótti frábær handverksmaður. Meðan hann var búsettur í Þingeyjarsýslu var hann jafnan titlaður bókbindari. Enn eru til bækur bundnar af honum sem sanna að hann var listahagur á þessu sviði. Hann skrifaði síðar leiðbeiningar um bókband, Bókbandsreglur, sem til eru í afriti á Landsbókasafni-Háskólabókasafni.
Tónlistarmaður
Upp úr miðri 19. öld urðu straumhvörf í tónlistarmenningu Þingeyinga. Þá ruddi fiðlan sér til rúms hérlendis. Jón Jónsson frá Vogum í Mývatnssveit, Voga-Jón, lærði fiðluleik í Kaupmannahöfn samhliða trésmíðanámi þar. Af honum lærði Arngrímur tónfræði og hljóðfæraleik en auk fiðlunnar lék hann á flautu. Arngrímur spilaði mikið á samkomum og mannamótum upp frá því og stundaði einnig tónlistarkennslu. Til eru allmörg nótnahandrit og lagasöfn með hendi Arngríms og ljóst er að hann hefur verið ein aðaldriffjöðrin í þeirri bylgju tónlistar og hljóðfæraleiks sem hófst í Þingeyjarsýslum á seinni hluta 19. aldar og breiddist þaðan út um landið. Hann þótti einnig kvæðamaður góður og í þjóðlagasafniBjarna Þorsteinssonar er ein stemma höfð eftir honum.
Málari
Þótt málaralistin muni lengst halda nafni Arngríms Gíslasonar á lofti fór hann ekki að fást við hana fyrr en hann var orðin vel fulltíða maður eða um 1860. Ekki er vitað til þess að hann hafi hlotið neina kennslu og er hann talinn nánast sjálfmenntaður í greininni. Í því skyni aflaði hann sér bóka og greina og þýddi einnig leiðbeiningar um teikningu og málverk sjálfum sér og öðrum til gagns. Hann stóð einnig í bréfasambandi við Sigurð málara Guðmundsson sem bæði veitti honum tilsögn og útvegaði honum efni til myndgerðar. Allmikið er til af myndum eftir Arngrím mest eru það mannamyndir og altaristöflur en einnig nokkrar myndir af bæjum og landslagi. Hann málaði t.d. kirkjubrunann á Möðruvöllum 1865. Það málverk telst vera fyrsta íslenska atburðamyndin. Á seinni hluta æfi sinnar reyndi hann að lifa af málaralistinni en aldrei dugði hún honum og fjölskyldunni til viðurværis ein og sér þótt hann yrði alleftirsóttur sem málari um Norðurland.
Arngrímur var góður myndlistarmaður og um hann segir Björn Th. Björnsson í riti sínu um íslenska myndlist:
„Af alþýðumálurum á síðari helmingi 19. aldar er í raun og veru aðeins einn maður sem verðskuldar listamannsnafn, en það er Arngrímur Gíslason frá Skörðum í Reykjahverfi.“ (Björn Th. Björnsson 1964: Íslenzk myndlist á 19. og 20. öld, 1. bindi, bls. 51-54).
Vitað er um 10 altaristöflur sem Arngrímur málaði. Tvær af þeim hafa glatast en átta eru enn í kirkjum.
Þórunn Hjörleifsdóttir f. 15. sept. 1844 á Galtastöðum í Hróarstungu, d. 8. nóv. 1918 á Dalvík. Flutti með foreldrum sínum sr. Hjörleifi Guttormssyni og Guðlaugu Björnsdóttur konu hans að Skinnastað og ólst þar upp að mestu. Kynntist ung Arngrími Gíslasyni er hann vann við að mála og fegra kirkjuna á Skinnastað sumarið 1863 og eignaðist dóttur með honum í lausaleik. Giftist 3. júlí 1869 Þórarni snikkara Stefánssyni á Skjöldólfsstöðum í Jökuldal en hann lést réttu ári síðar, 2. júlí 1870. Börn þeirra voru Sigurbjörn sem dó í æsku og Guðlaug Þórunn sem upp komst. Þórunn fluttist frá Skjöldólfsstöðum 1871 til foreldra sinna sem þá voru komin að Tjörn í Svarfaðardal. Þar giftist hún síðan æskuást sinni, Arngrími málara, sem fyrr segir.
Þórunni er lýst svo: „ ...hún var sterk og hugdjörf kona, gædd lífsgleði og trúartrausti og góðvild og kærleika til alls og allra. Hún hafði líknarhendur eins og móðir hennar, lærði ljósmóðurfræði og gerðist yfirsetukona eins og hún og gegndi því starfi í Svarfaðardal við mikla tiltrú og vinsældir.“ (Kristján Eldjárn 1983. Arngrímur málari. bls. 27).