Kaye a fost claviaturistul original al trupei de rock progresivYes din 1968 până în 1971 și din nou din 1983 până în 1995. Între perioadele petrecute în Yes a fost membru fondator al formațiilor Flash, Badger și Detective devenind și membru al grupului Badfinger pentru ultimul lor album din 1981. Momentan Kaye cântă cu Circa, formație în care se regăsește și fostul membru al Yes, Billy Sherwood și din care a făcut parte și bateristul acestora Alan White; Kaye cântă de asemenea și cu Yoso, din nou cu Sherwood și cu fostul solist vocal al trupei Toto, Bobby Kimball.
Discografie
Ca membru de formație
cu The Federals
1963-4 : diverse single-uri
cu Winston's Fumbs
1967 : "Real Crazy Apartment"/"Snow White" – 7" single; released on Nuggets II – Original Artyfacts from the British Empire and Beyond 1964–1969 (2001)
.svg){kind=small}
