Na igrzyskach olimpijskich w 1900 startował w pięciu konkurencjach, w każdej z nich zdobywając medal. Najpierw zwyciężył w swej koronnej konkurencji skoku wzwyż wynikiem 1,89. Tego samego dnia później rozgrywano skok o tyczce. Ponieważ było to w niedzielę, główni faworyci (3 Amerykanów) nie startowali, zwłaszcza że rzekomo francuscy organizatorzy ich zapewnili, że konkurs będzie kontynuowany następnego dnia. Tak się jednak nie stało i Baxter, który zgłosił się do rywalizacji dlatego, że był w tym czasie na stadionie, został ponownym złotym medalistą z rezultatem 3,30 m.
Poza sukcesami olimpijskimi Baxter był mistrzem USA w skoku wzwyż (w latach 1897–1900 i 1902) oraz w skoku o tyczce (1899)[2], a także mistrzem Kanady w skoku o tyczce w 1899 oraz Wielkiej Brytanii (AAA) w skoku wzwyż w 1900 i 1901 i w skoku o tyczce 1901. Ten ostatni tytuł zdobył w niecodziennych okolicznościach. Baxter przybył do Wielkiej Brytanii bez tyczki. Do konkursu zgłosił się poza nim tylko jeden zawodnik, W.H. Hodgson. Odmówił on pożyczenia tyczki Baxterowi, który wyrwał maszt flagowy i używając go jako tyczki osiągnął tę samą wysokość co rywal (3,00 m) dzieląc w ten sposób 1. miejsce.
Był bratem Hugh Baxtera, który czterokrotnie zdobył mistrzostwo USA w skoku o tyczce w latach 1883–1886.
W 1901 zdał egzamin adwokacki w stanie Nowy Jork i rozpoczął prywatną praktykę. Od 1903 był sędzią z nominacji Partii Demokratycznej, a potem powrócił do praktyki adwokackiej, która kontynuował z przerwą w czasie I wojny światowej.
