Gould va néixer amb el nom Elliott Goldstein a Brooklyn (Nova York), és net d'immigrants jueus d'Europa Oriental.[1][2][3] La seva mare, Lucille Raver, venia flors artificials en botigues de souvenirs, i el seu pare Bernard Goldstein, treballava en el negoci de la roba (en el Garment District de Manhattan).[4]
De 1963 a 1971, ha estat l'espòs de Barbra Streisand amb qui van tenir un fill, Jason Gould.[5][6]
Gould es va convertir en un dels actors més prominents dels Estats Units quan al principi dels anys setanta va representar a Trapper John a la pel·lícula satírica M*A*S*Hde Robert Altman. El 1970 la revista Time magazine el va posar a la portada d'un dels seus números.