Han var son till lantbrukaren Rudolf Hårleman och Matilda Mattsson, och var sedan 1896 gift med Elsbeth Wilke, dotter till en jägarmästare. Gustaf Hårleman gravsattes den 16 januari i Norra begravningsplatsen.
Hårleman studerade vid Uppsala universitet, där han avlade hovrättsexamen 1892 och kansliexamen 1897. Han blev polismästare och notarius publicus i Eskilstuna 1898, polismästare i Malmö 1904. Han var också sakkunnig i civildepartementet för allmänna polisförfattningar 1913 och för revision av automobilförfattningar 1919–1920. Från 1916 var han inspektör över Tornedalen, från 1918 till 1930 polismästare i Stockholm. Han blev starkt kritiserad för sin inblandning i händelserna runt frikåren Munckska kåren.
I Malmö var Hårleman huvudredaktör för det i samband med Baltiska utställningen 1914 utgivna tvåbandsverket "Malmö. En skildring i ord och bild av stadens utveckling och nuvarande tillstånd", vilket han själv skrev om polisväsendets i Malmö historia.
