1936 és 1943 között saját zenekarát vezette, turnézott az Egyesült Államok délnyugati részén, Kansas Cityben, játszottak a New York-i Apollo Theatre-ben, a chicagóiRhumboogie Caféban.
1943-tól 1946-ig Larkin az Egyesült Államok hadseregében szolgált. Ott a Sy Oliver által vezetett katonazenekarhoz tartozott, ahol megtanult szelepes harsonán is játszani.
Katonai szolgálata után felvette a „Chicken Blues”-t. Más zenekarokat is vezetett, amelyekkel turnézott. Trombitajátékát Arnett Cobb 1947-es Flower Garden Blues/Big League Blues című albuma is dokumentálja.
1956-tól New Yorkban élt, ahol a Harlem's Apollo Theatre zenekarát vezette. Gyakran lépett fel saját szeptettel a Celebrity Clubban.
1977-től Houstonban dolgozott zenekarvezetőként.
Larkin nem volt hajlandó bemenni stúdiókba, mert a lemezkiadók diszkriminatívan alacsony fizetést fizettek az afroamerikai zenészeknek.