Cominciò come riserva nel SV Rivenich, formazione amatoriale, per poi trasferirsi all'Eintracht Trier, squadra di Regionalliga.
Acquistato dal Kaiserslautern, squadra della Bundesliga, nel 1972, con il club collezionò 204 presenze e segnò 108 gol, diventandone il miglior marcatore di tutti i tempi. Esordì con la Nazionale tedesca nel 1976 contro la Spagna. Fu convocato anche nel 1979 per le partite contro Malta e Turchia.
Divenne allenatore del Salmrohr nell'estate 1987. Il 18 aprile 1988 passò all'Ulm 1846, dove rimase sino al febbraio 1989. Dopo le dimissioni allenò in DDR-Oberliga l'Erzgebirge Aue (allora Wismut Aue) dal 28 novembre 1990 al 30 giugno 1991. Poi guidò il Mannheim, in 2. Bundesliga, dal 19 settembre 1991 al 30 giugno 1993.
Riscosso un buon successo, fu ingaggiato dall'Eintracht Francoforte, con cui ebbe un inizio molto promettente, ma la crisi nei rapporti con la squadra e cali di forma fecero perdere al club il campionato. Fu esonerato il 10 aprile 1994. Fu poi il Bochum ad assumerlo, il 9 novembre seguente. Nella stagione 1997-1998 condusse la squadra della Ruhr agli ottavi di finale di Coppa UEFA. Il 30 giugno 1999 si dimise, ma fu allontanato definitivamente solo il 29 novembre 2000.
Dal 1º luglio 2001 al 16 febbraio 2003 allenò il Bayer Leverkusen. Nella sua prima stagione guidò il club alla finale della UEFA Champions League (persa contro il Real Madrid), al secondo posto nel campionato tedesco 2001-2002 (perso per un solo punto) e alla finale di Coppa di Germania (dove la squadra fu sconfitta). Fu nominato dai giornalisti "allenatore dell'anno" nel 2002, ma la grande quantità di trofei sfiorati ma non ottenuti gli valsero l'etichetta di "allenatore perdente" e, nell'annata successiva, il Bayer Leverkusen non ottenne risultati soddisfacenti, rischiando la retrocessione: Toppmöller fu esonerato nel febbraio 2003.
Il 23 ottobre 2003 fu nominato tecnico dell'Amburgo ma, con la squadra in ultima posizione, fu allontanato con l'accusa di adottare tattiche bizzarre e schierare giocatori fuori posizione, come il centrocampistaSergej Barbarez, relegato in difesa: fu esonerato il 17 ottobre 2004.