Charlton va néixer a Crows Nest, un suburbi de Sydney. Es va donar a conèixer en el món de la natació el 1921, quan guanyà la cursa de les 440 iardes lliures organitzat per la New South Wales Swimming Association. La seva joventut el va dur a ser conegut com a "Boy". El 1922 William Harris, medalla de bronze dels 100 metres lliures dels Jocs d'Anvers de 1920, va anar a Austràlia per enfrontar-se a gent com Frank Beaurepaire i Moss Christie. Charlton va derrotar a Harris en els Campionats de Nova Gal·les del Sud, guanyant els 440 iardes i posteriorment va establir un rècord mundial en les 880 iardes lliures, a més de guanyar la cursa de la milla.[1]
El 1923 Charlton, de tan sols 15 anys, va nedar per primera vegada contra Beaurepaire, que havia guanyat 35 campionats australians i havia establert 15 rècords mundials. Charlton va guanyar les 440 iardes lliures amb uns dos metres d'avantatge sobre Beaurepaire. El 1924 es va enfrontar a Arne Borg, posseïdor en aquells moments de quatre rècords mundials. Charlton va guanyar les 440 iardes, igualant el rècord mundial de Borg. Es tornaren a enfrontar en les 880 i 220 iardes, amb noves victòries de Charlton, en la primera cursa establint el seu primer rècord mundial i en la segona un rècord australià.[1]
