Był synem sędziego. Dorastał w hrabstwie Oxfordshire. Wykształcenie odebrał w Winchester College oraz New College na Uniwersytecie Oksfordzkim. Zasiadał w radzie Oxford City, od 1935 r. przewodniczył grupie radców z ramienia Partii Pracy. Po wybuchu II wojny światowej rozpoczął pracę w Służbie Cywilnej, jako pracownik Psychological Warfare Department, gdzie zajmował się antynazistowską propagandą emitowaną na falach Radio of the European Revolution. Za służbę podczas wojny został Oficerem Orderu Imperium Brytyjskiego (OBE). Wiosną 1945 r. był jednym z pierwszych Brytyjczyków, którzy przybyli do obozu koncentracyjnego Dachau.
Po wyborczym zwycięstwie laburzystów w 1964 r. został ministrem budownictwa i samorządu lokalnego. W 1966 r. został Lordem Przewodniczącym Rady i przewodniczącym Izby Gmin. W latach 1968–1970 był ministrem służby socjalnej. Po porażce Partii Pracy w wyborach 1970 r. Crossman powrócił do tylnych ław parlamentu. W latach 1970–1972 był redaktorem magazynu New Statesman. Zmarł na raka w kwietniu 1974.