À 22 ans, Il participe aux Jeux olympiques de Londres en 1948, mais n'obtient pas de médaille, éliminé lors des séries du 100 m et des demi-finales du 400 m. Il est également l'un des membres du relais 4 × 400 m, largement favori, mais leurs chances de médaille s'envolent quand Wint se blesse à la cuisse pendant la finale.
Deux ans plus tard, le à Eskilstuna, en Suède, Rhoden établit un nouveau record du monde du 400 m en 45,8 s. Il gagne aussi les championnats AAU sur 400 m de 1949 à 1951 et le championnat NCAA, sur 220 yd (environ 201 m) en 1951 et sur 440 yd (environ 402 m) de 1950 à 1952 alors qu'il est étudiant de l'Université de Morgan State.
Aux Jeux olympiques de 1952 à Helsinki, George Rhoden est l'un des favoris du 400 m, car il détient le record du monde. Il remporte la médaille d'or devant son compatriote McKenley, déjà deuxième du 400 m quatre ans auparavant. Quelques jours plus tard, il accroche un deuxième titre olympique à son palmarès en gagnant la finale du 4 × 400 m avec le relais jamaïcain, reléguant les Américains à un dixième de seconde et établissant un nouveau record du monde de la discipline en 3 min 03 s 9.