Nato in Texas, all'età di 9 anni si trasferì con i suoi familiari a Kingsburg, in California, una cittadina abitata per lo più da persone di origine svedese.[1] Divenne l'unica famiglia di origine afroamericana della città.[2] Suo fratello Jimmy Johnson fu membro della Pro Football Hall of Fame.
Nel 1955 ottenne con 7 985 punti il record mondiale del decathlon, migliorando il primato che apparteneva al connazionale Bob Mathias.[1] Divenne così il primo grande decatleta afroamericano.[1]
Quattro anni dopo alle Olimpiadi di Roma 1960 fu alfiere della nazionale e conquistò l'oro al termine di una delle gare più memorabili che si siano disputate nella specialità[senza fonte]. La gara vide il continuo alternarsi al comando dei due protagonisti, e compagni di università, lo stesso Johnson e il formosanoYang, l'uno più forte nei lanci, l'altro nei salti e nelle corse. La popolarità della gara fu accresciuta dal fatto che fu abbondantemente descritta, in tutte le sue rocambolesche fasi, nel film La grande olimpiade, documentario ufficiale dei Giochi olimpici di Roma.
^(EN) Rafer Johnson and the Power of 10, su joeposnanski.si.com, 5 agosto 2010. URL consultato il 6 dicembre 2020 (archiviato dall'url originale il 5 agosto 2010).