Joel Grey slog igenom på Broadway i rollen som konferencier i musikalen Cabaret och för den fick han en Tony 1967. För filmen med samma namn och i samma roll erhöll han en Oscar för bästa manliga biroll.[8]
År 2003 fick han rollen som The Wonderful Wizard Of Oz i Broadwaymusikalen Wicked.
Åren 1958–1982 var han gift med skådespelaren Jo Wilder och paret fick två barn, James och skådespelaren Jennifer Grey. 2015 berättade Grey i en intervju att han är homosexuell.[8]