W 1966 został członkiem stanowej Izby Reprezentantów, zaś w 1970 senatorem stanowym. W listopadzie 1978 został wybrany gubernatorem stanu Floryda. Urząd ten pełnił dwie kadencje.
Za jego gubernatorstwa m.in. zainicjowano wiele programów ochrony środowiska.
Jako gubernator Graham stanowczo popierał stosowanie kary śmierci. Za jego kadencji 16 osób zostało straconych na krześle elektrycznym (więcej niż za rządów jakiegokolwiek innego gubernatora w tym czasie). Podpisał też 147 nakazów egzekucji i ułaskawił 6 osób.
W wyborach w 1986 wybrano go w skład Senatu federalnego. W 2003 zgłosił swoją kandydaturę do nominacji prezydenckiej demokratów w wyborach 2004. Przegrał jednak prawybory. Wymieniano go jako głównego pretendenta do nominacji wiceprezydenckiej u boku senatora Johna Kerry’ego, który ostatecznie zdecydował się na wspólny start z Johnem Edwardsem.
W 2005 Graham opuścił Senat. Był popularnym politykiem, nigdy nie przegrał żadnych wyborów.
W 2020 przeszedł udar mózgu. Zmarł 16 kwietnia 2024 w wieku 87 lat[3].
