Ottiene i risultati migliori nella prima parte degli anni 1920, riesce infatti a raggiungere sei finali dello Slam prima di passare tra i professionisti nel 1927.
La prima finale la raggiunge durante gli U.S. National Championships 1922 in coppia con Helen Wills ma vengono sconfitti dai connazionali Molla Mallory e Bill Tilden. Due anni dopo, sempre a New York, gioca la finale del doppio maschile e riesce a conquistare il titolo insieme al fratello Robert.
Il suo anno migliore è il 1926, al Roland Garros viene eliminato nei quarti di finale da Jean Borotra in un match lungo cinque set ma ottiene il titolo nel doppio maschile insieme a Vincent Richards superando i due francesi Cochet-Brugnon. Al Torneo di Wimbledon raggiunge la finale in tutte le discipline, singolare, doppio e doppio misto, uscendone tuttavia sempre sconfitto. In singolare è nuovamente Borotra a sconfiggerlo, nel doppio sono Cochet e Brugnon a prendersi la rivincita ribaltando il risultato di Parigi mentre nel doppio misto la coppia britannica formata da Kathleen McKane Godfree e Leslie Godfree ha la meglio su Mary Browne e lo stesso Kinsey in due set.
Dalla stagione successiva è passato tra i professionisti ottenendo come migliore risultato la finale dell'U.S. Pro Tennis Championships persa sull'erba di Brooklyn dal suo solito compagno di doppio Vinny Richards.