Rominger werd geboren in de Deense stad Vejle. Hij werd professional in 1986, op de relatief late leeftijd van 25. Zijn eerste grote wedstrijd won hij in 1989, de Ronde van Lombardije. Rominger, die zowel goed bergop als tegen de klok kon rijden, bleek echter vooral talent voor etappewedstrijden te hebben. Zo won hij in 1991 zowel Parijs-Nice als de Ronde van Romandië, zoals hij dat later in zijn carrière nog eens zou overdoen.
In 1992 won Rominger, als eerste Zwitser, de Ronde van Spanje. Hij veroverde de leiderstrui pas in de 19de etappe, een tijdrit. Hierna bleef hij zeer goed presteren in de Grote Rondes. In 1993 won Rominger, met slechts 29 seconden voorsprong op zijn landgenoot Alex Zülle, nogmaals de Ronde van Spanje. Hij baarde tevens opzien door naast het algemeen klassement ook het bergklassement en het puntenklassement op zijn naam te schrijven. Een dergelijke prestatie was daarvoor alleen geleverd door Eddy Merckx, die in de Ronde van Italië van 1968 en de Ronde van Frankrijk van 1969 ook tegelijk de drie belangrijkste klassementen won.
Zeven weken na zijn tweede Vueltazege stond Rominger aan de start van de Ronde van Frankrijk 1993. Hij reed de Tour al in 1988 en 1990, maar moest een nieuwe deelname sindsdien uitstellen vanwege hooikoorts. Rominger won in deze Tour drie etappes (waarvan één tijdrit) en werd winnaar van de bolletjestrui. In het algemeen klassement eindigde hij op de tweede plaats, met bijna vijf minuten achterstand op Miguel Indurain.
In de Ronde van Spanje van 1994 was Rominger oppermachtig. Hij won zes etappes: drie tijdritten (waaronder de proloog) en drie bergritten. Hij droeg de gehele ronde de gouden leiderstrui en werd de eerste wielrenner die de Ronde van Spanje drie keer won. Vervolgens kwam Rominger als een grote favoriet aan de start van de Tour. Hierin kreeg hij echter buikgriep en werd hij door Indurain op flinke achterstand gereden, zowel in de tijdritten als in de bergen. Gedesillusioneerd stapte Rominger in de dertiende etappe uit de wedstrijd. Later dat jaar verbeterde Rominger, die vanwege zijn karakteristieke gezicht De Muis werd genoemd, het werelduurrecord van zijn rivaal Indurain.
In 1995 werd de Vuelta verplaatst naar september en daarom reed Rominger in de lente de Ronde van Italië, de ronde die hij in de jaren tachtig al vier keer had gereden en waarin hij destijds één etappe had gewonnen. In de tweede etappe, een tijdrit, veroverde hij de roze trui en stond deze gedurende de gehele Giro niet meer af. Behalve het algemeen klassement won Rominger ook op overtuigende wijze het puntenklassement. Hij won in totaal vier ritten. In de Ronde van Frankrijk presteerde Rominger vervolgens minder goed, al eindigde hij met een achtste plaats nog wel in de top 10 van het eindklassement.
In 1996 keerde Rominger, na een tiende plaats in de Tour, terug naar de Vuelta. Hierin won hij beide individuele tijdritten. Het lukt hem echter niet een vierde eindoverwinning te bewerkstelligen: hij eindigde op de derde plaats, achter zijn landgenoten Alex Zülle en Laurent Dufaux.
Rominger zette in 1997 een punt achter zijn professionele loopbaan. Tegenwoordig is hij co-commentator bij de televisiezender Eurosport en organiseert hij de Ronde van Zwitserland. Hij trad ook op als manager voor andere wielrenners, waaronder Andreas Klöden.
.svg){kind=small}
