Kramer si dedicò al ciclismo fin da bambino, spinto dai genitori che volevano migliorare la sua salute fisica, in quanto a rischio di tubercolosi. Gli acquistarono una bicicletta e si trasferirono a East Orange, una località sul mare in New Jersey.
Kramer iniziò l'attività agonistica nel 1895. Nel 1898 vinse il campionato nazionale sprinter della League of American Wheelmen's. Nel 1899 vinse il titolo della National Cycling Association. Passò al professionismo nel 1900, consigliato da Major Taylor. Battuto da Taylor nella sua prima finale del campionato nazionale, Kramer ottenne negli anni successivi sedici vittorie consecutive.
La prima sconfitta per il titolo nazionale arrivò nel 1917, ma tornò a vincere nel 1918 e nel 1921.
Nel 1922 rinunciò all'attività agonistica, ma non al ciclismo, divenendo giudice di gara ed ottenendo cariche istituzionali nel ciclismo statunitense.
Un anno dopo la sua vittoria al mondiale (1913), nacque Gorni Kramer, direttore d'orchestraitaliano, che ricevette il suo nome ("Kramer") in quanto il padre era un appassionato di ciclismo, che volle così rendere omaggio al campione statunitense.
.svg){kind=small}
_pictogram.svg){kind=small}
