Gould er utdannet ved The Professional Children's School. Han var en av de mest fremtredende filmskuespillerne i USA tidlig på 1970-tallet og spilte rollen som kaptein John Francis Xavier «Trapper John» McIntyre i Robert Altmans satiriske film MASH fra 1970. Gould ble dette året avbildet på forsiden av Time Magazine, et tegn på hans stjernestatus på denne tiden.
Andre filmroller er i Bob & Carol & Ted & Alice, A Bridge Too Far, Capricorn One og The Lady Vanishes. I likhet med Humphrey Bogart og Robert Mitchum har også Gould spilt rollen som detektiven Philip Marlowe i Altmans film fra 1973 The Long Goodbye. I 1980 hadde Gould roller i to filmer for Disney: The Last Flight of Noah’s Ark og The Devil and Max Devlin, hvor han spilte sammen med Bill Cosby.
Goulds karriere slakket av på slutten av 1970-tallet, men han har hatt en rekke bi- og karakterroller både i TV-serier og filmer. Blant disse er rollen som Jack Geller, far til Monica og Ross Geller i Venner for livet.
Gould fikk gode kritikker for sin rolle som en aldrende gansterleder i Warren Beattys film Bugsy fra 1991. Han hadde en av hovedrollene i Ocean’s Eleven (2001) og i oppfølgeren Ocean’s Twelve (2004).
Privatliv
Gould har vært gift tre ganger med to kvinner:
Barbra Streisand fra 1963 til 1971. De har en sønn, Jason Gould.
Jenny Bogart (1974–1976) og (1978–1979). De har to barn.