נולד כהרמן אוסטפלד בגרמניה וגדל בעיר המבורן (כיום חלק מדויסבורג). חרמון היה עובד סוציאלי ורב ליברלי בהכשרתו, קצין מבחן ובעל תואר דוקטור בתחום הפנולוגיה (תורת הענישה). ב-1938 עלה לארץ ישראל. למד בבית הספר לשירות סוציאלי שהקימה סידי ורונסקי. ב-1942 עבר לחיפה והפך אחר כך לקצין המבחן היהודי הראשון בעיר[1]. לאחר הקמת המדינה עבר לעבוד במשרד הסעד[2] והיה מנהל המדור לשיקום נוער[3].
בספטמבר 1952 מונה לנציב בתי הסוהר[4], תוך שהוא מתנה את הסכמתו לקבל את התפקיד בכך שהוא לא יהיה אחראי לביטחון בו, לטענתו, הוא אינו מבין[5]. לאחר שמונה לנציב בתי הסוהר חרמון שינה נהלים בשירות בתי הסוהר שהיו מושרשים מתקופת המנדט הבריטי והכניס לראשונה עובדים סוציאליים וגורמים חינוכיים. חרמון הנהיג חופשות לאסירים; הקים מחלקה פסיכיאטרית לאסירים הסובלים ממחלות נפש ומרכז מיון אסירים בכלא רמלה; וביטל את השימוש באלה אצל הסוהרים. ב-1954 קבע תשלום לאסירים תמורת עבודתם[6]. הגישה הכללית הפכה להיות גישה שיקומית.
ב-1958, בעקבות מרד האסירים בכלא שטה קבעה ועדת חקירה בראשות השופט ד"ר משה עציוני, שחרמון "לא עמד באחריות הכללית המוטלת עליו" וכי למרות ששר המשטרה התריע בפניו על המצב הביטחוני הירוד בבתי הסוהר לא פעל לתיקון הליקויים. הוועדה קבעה שלאור אי הסכמתו להיות אחראי לנושאי ביטחון לא היה מקום למנותו לנציב בתי הסוהר. עם זאת, ציינה הוועדה לחיוב את עבודתו בשטחים אחרים[5]. בעקבות זאת, באוקטובר 1958, מונה אריה ניר לנציב בתי הסוהר וחרמון הועבר לתפקיד המנהל המדעי המרכז למיון, הסתכלות ומחקר של בתי הסוהר, וכן ליועץ למשרד המשטרה לענייני טיפול בעבריין ושיקומו[7], ללא שינוי בדרגתו. בשנת 1964 היה חבר בהנהלה של הוסטל לאסירים משוחררים בנתניה[8]. החלפת תפקידים זו הביאה לשינוי מהותי בגישת השירות לאסירים, ובמדיניות שירות בתי הסוהר וסדרי העדיפויות בו. גישתו הטיפולית-שיקומית של חרמון שבה והתממשה עם הקמתו של בית סוהר חרמון הקרוי על שמו[9].
