Kelly nasqué a Sydney, fruit del matrimoni entre Thomas Herbert Kelly, un tractant de llana d'origen irlandès, i l'australiana Mary Anne. Kelly estudià secundària a Sydney, per després ser enviat a Anglaterra, a l'Eton College, on va començar a destacar en rem. Una beca li va permetre estudiar al Balliol College de la Universitat d'Oxford.
Disputà la regata Oxford-Cambridge de 1903, que perdé. En deixar Oxford el 1903 passà a remar pel Leander Club i fou membre de la tripulació que guanyà la Grand Challenge Cup de la Henley Royal Regatta el 1903, 1904 i 1905 i la Stewards Challenge Cup de 1906. El 1905 també guanyà la Diamond sculls.
En acabar els estudis a Oxford començà els de piano al Conservatori Hoch de Frankfurt sota la batuta d'Iwan Knorr. Una vegada finalitzats aquests tornà a Londres, on exercí com a assessor de la Classical Concert Society i va utilitzar la seva influència en favor del reconeixement dels compositors moderns. El 1911 va visitar Sydney, on va fer alguns concerts, i el 1912 va participar en concerts de música de cambra a Londres. Treballà junt a Pau Casals, i va ajudar a organitzar un concert a Londres de Maurice Ravel.
.jpg)
