Nel 1970 si candidò alla Camera dei rappresentanti sfidando nelle primarie democratiche il deputato in carica Alton Lennon, ma venne sconfitto. Due anni dopo Lennon non si presentò per la rielezione e Rose si ricandidò per il seggio, riuscendo ad aggiudicarsi la nomination democratica e successivamente vincendo anche le elezioni generali. Dopo quella volta, Rose venne riconfermato dagli elettori per i successivi ventiquattro anni, servendo un totale di dodici mandati. Nonostante lo standard conservatore degli abitanti del suo distretto, Rose si fece conoscere per le sue idee molto liberali.
Dopo aver lasciato il Congresso, Rose si dedicò all'attività di lobbista e si trasferì con la moglie in Alabama, dove morì nel settembre del 2012.
Vita privata
Rose ebbe tre mogli. Dal 1962 al 1982 fu sposato con Sara Louise Richardson, dalla quale ebbe tre figli (una delle quali morì neonata). Dal 1982 al 1995 fu sposato con Joan Ray Teague, con la quale adottò una bambina. Infine nel 1995 sposò la figlia del collega Bill Hefner, Stacye, dalla quale ebbe una bambina.
