Wheldon begann seine Karriere bei Small Health in der Football Alliance. 1892 schloss sich die Mannschaft der Football League an und wurde der neu geschaffenen Second Division zugeordnet. Mit 25 Treffern in 22 Saisonspielen krönte sich Wheldon zum ersten Torschützenkönig der zweiten Liga Englands, der Klub gewann zudem die Zweitligameisterschaft. Eine automatische Auf- und Abstiegsregelung sah das Reglement seinerzeit nicht vor, die Zweitligisten mussten ihre „Erstligatauglichkeit“ erst unter Beweis stellen. In diesen Testspielen trennte sich der Klub zunächst 1:1-Remis von Newton Heath, im Wiederholungsspiel verpasste er aufgrund einer 2:5-Niederlage den Aufstieg. Auch in der folgenden Saison glänzte Wheldon als regelmäßiger Torschütze, mit 22 Treffern war er jedoch hinter Mannschaftskamerad Frank Mobley nur zweitbester Schütze der Meisterschaft. Für den mit 103 Toren den besten Sturm der Liga stellenden Verein reichte es hinter dem FC Liverpool zum zweiten Platz und damit verbundenen Aufstieg in die First Division. In der höchsten Spielklasse war er für den Klub nicht mehr so treffsicher, am Ende der Spielzeit 1895/96 belegte die Mannschaft den vorletzten Tabellenplatz. Nach nur einem Sieg in den folgen Testspielen zwischen den beiden Letztplatzierten der First Division (neben Small Heath war dies West Bromwich Albion) und den beiden bestplatzierten der Second Division FC Liverpool und Manchester City stieg der Klub ab.
Wheldon wechselte innerhalb der First Division zum Lokalrivalen und amtierenden Meister Aston Villa, der ihm das höchste Salär angeboten hatte.[1] Mit dem Klub gewann er das Double aus Meisterschaft in der Spielzeit 1896/97 und dem FA Cup 1896/97. Beim 3:2-Finalsieg über den FC Everton war er neben Johnny Campbell und Jimmy Crabtree einer der drei Birminghamer Torschützen, Jack Bell und Dickie Boyle hatten für die Liverpooler getroffen. Im Frühjahr 1897 war er auch zum englischen Nationalspieler geworden, als er beim 6:0-Erfolg über Irland debütierte und drei Tore zum Erfolg beisteuerte. Bis 1898 bestritt er vier Länderspiele und erzielte dabei sechs Treffer. Die erneute Titelverteidigung in der Meisterschaft misslang unterdessen trotz 23 Saisontoren Wheldons, der damit als erster Spieler Torschützenkönig der beiden höchsten Spielklassen wurde. Unter Trainer George Ramsay setzte der Klub jedoch anschließend seine Erfolgsserie fort und gewann die beiden folgenden Meistertitel, zu denen Wheldon 16 bzw. elf Saisontore beisteuerte.
