Andy Devine spielte zunächst halbprofessionell American Football an der Ball State University und erlangte einige Popularität, die ihm half, als er beschloss, nach Hollywood zu gehen – in einigen seiner frühen Filme wurde er sogar als Footballspieler besetzt. Er trat insgesamt in mehr als 150 Filmen auf, wobei sein Spektrum von B-Filmen (meist Western) bis zu anspruchsvollen und teuren Produktionen reichte. Devine war ein gesuchter Nebendarsteller, meist mimte er den komischen Sidekick des Hauptdarstellers, so in zehn Filmen mit Roy Rogers. Zwei seiner bekanntesten Filmrollen hatte er neben John Wayne: 1939 als gutmütiger, aber wenig durchsetzungsfähiger Kutscher Buck in Ringo sowie 1962 als ängstlicher Sheriff in Der Mann, der Liberty Valance erschoß; in beiden Filmen unter Regie von John Ford. Er sprach außerdem die Zeichentrickfigur Bruder Tuck in Walt DisneysRobin Hood.
Sein unverwechselbares Markenzeichen war seine ungewöhnliche Stimme, das Resultat eines Kindheitsunfalls: Der kleine Andy hatte eine Stange in der Hand, als er stürzte und sie sich in seinen Gaumen bohrte. Nach dem Unfall dauerte es fast ein Jahr, bevor der Junge wieder sprechen konnte, nun aber mit einer pfeifend-keuchenden, sehr hohen und zittrigen Stimme. Devine war durch seine Stimme ideal für das Radio, hier wurde er bekannt als häufiger Gast in Jack Bennys Show sowie in der Rolle von Jingles, Guy Madisons Partner in The Adventures of Wild Bill Hickok. Beide Schauspieler sollten die Rollen auch im Fernsehen übernehmen, wo Devine ab den 1950er-Jahren in zahlreichen Gastrollen zu sehen war. Er spielte Hap in der Serie Flipper und war Moderator einer Kindershow, Andy’s Gang.
Ein Stern auf dem Hollywood Walk of Fame erinnert an den bekannten Nebendarsteller, der 1977 mit 71 Jahren an Leukämie verstarb. Von 1933 bis zu seinem Tod war er mit Dorothy House (1915–2000) verheiratet, sie hatten insgesamt fünf Kinder.