Di umili origini, lasciò il profondo sud degli Stati Uniti con il sogno di diventare attore. A New York debuttò in teatro nel 1924 e, negli anni successivi, sarebbe tornato sporadicamente a calcare il palcoscenico in altri sei allestimenti, fino al 1951.
La carriera di Gordon non avrebbe toccato più i vertici raggiunti negli anni trenta. Tuttavia, l'attore restò attivo ancora a lungo nel cinema in ruoli secondari, talvolta interessanti ed incisivi. Come caratterista è da ricordare infatti in molti film (spesso della Paramount) degli anni quaranta e cinquanta, come La via del male (1958), Il mostro che uccide (1959), seppure i ruoli diventassero via via sempre più marginali. In compenso Gordon lavorò piuttosto assiduamente in televisione dal 1949 in numerosi telefilm e sceneggiati. Dopo altre particine al cinema, tra cui quella in Jerry 8¾ (1964), con Jerry Lewis, ed altri ruoli da guest star in telefilm, nel 1968 il sessantasettenne attore si ritirò a vita privata, dopo aver preso parte a una novantina di produzioni tra cinema e televisione.
Gavin Gordon era omosessuale e visse per molti anni con l'attore Edward Everett Horton (1886-1970), di 15 anni più anziano di lui. Il noto storico del cinema Anthony Slide, nel saggio "Eccentrics of Comedy" (Metuchen NJ: Scarecrow Press, 1998), parlando diffusamente di Horton, fa riferimento alla lunga relazione di quest'ultimo con Gavin Gordon. I due attori, in ruoli secondari, lavorarono insieme in un solo film, ma molto popolare, Angeli con la pistola (1961), di Frank Capra, con Bette Davis e Glenn Ford.
Gordon non si sposò mai e non ebbe figli. Sua nipote è la costumista Kerrie Karcewski.
Gavin Gordon morì per cause naturali a Canoga Park, in California, il 7 aprile 1983, il giorno del suo 82º compleanno.