Od 1949 pracował jako robotnik w fabryce Opla w swojej rodzinnej miejscowości. Dołączył do związku zawodowego IG Metall i katolickiego ruchu pracowniczego Katholische Arbeitnehmer-Bewegung. W 1950 został członkiem Unii Chrześcijańsko-Demokratycznej. W 1961 ukończył wieczorową szkołę średnią w Moguncji. Następnie do 1967 studiował germanistykę, filozofię, teologię katolicką, historię i socjologię na uniwersytetach w Bonn i Kolonii.
Został etatowym pracownikiem Christlich-Demokratische Arbeitnehmerschaft (CDA), organizacji pracowniczej afiliowanej przy CDU. Był redaktorem pisma „Sozialen Ordnung” (1966–1968), sekretarzem generalnym CDA (1968–1975), przewodniczącym w Nadrenii-Palatynacie (1974–1977) i przewodniczącym struktur federalnych organizacji (1977–1987).
W 1972 po raz pierwszy uzyskał mandat posła do Bundestagu. Z powodzeniem ubiegał się o reelekcję w wyborach w 1976 i 1980, po czym został wiceprzewodniczącym frakcji CDU/CSU. W 1981 odszedł z parlamentu, po czym wszedł w skład Izby Deputowanych Berlina Zachodniego. Został także członkiem Senatu Berlina Zachodniego, gdzie do 1982 odpowiadał za sprawy federalne. W 1983 ponownie wybrany do Bundestagu, odnawiał mandat w 1987, 1990, 1994 i 1998, zasiadając w niższej izbie niemieckiego parlamentu do 2002. W latach 1981–1990 i 1992–2000 był wiceprzewodniczącym CDU, od 1987 do 1999 stał na czele partyjnych struktur w Nadrenii Północnej-Westfalii.
4 października 1982 objął stanowisko ministra pracy i spraw społecznych w gabinecie Helmuta Kohla. Urząd ten sprawował w pięciu kolejnych rządach tego kanclerza nieprzerwanie do 27 października 1998.
Po odejściu z polityki zajął się działalnością publicystyczną, napisał także kilka książek dla dzieci. Wykładał na uczelniach w Bonn i Akwizgranie.
