Barzel var en av CDU:s ledande politiker under 1960- och 1970-talet. 1964-1973 var Barzel för CDU/CSU:s förbundsdagsgrupp (Bundestagsfraktion) och 1971-1973 ordförande för CDU. Barzel väckte misstroendevotum mot Willy Brandts koalitionsregering 27 april 1972 men förlorade med två röster. Det har senare framkommit att två konservativa ledamöter mutats av östtyska Stasi[1][2]. Barzel och CDU/CSU ställde sig kritiska till Die neue Ostpolitik. I det följande Förbundsdagsvalet 1972 var Barzel CDU/CSU:s förbundskanslerkandidat men partierna förlorade valet. 1983-1984 var han förbundsdagspresident.