Figura leggendaria nel campo delle registrazioni jazz, Van Gelder era un ottico e cominciò da dilettante registrando i suoi amici nel salotto della casa dei genitori a Hackensack, New Jersey. Fu uno dei suoi amici, il sax baritonoGil Melle, a presentarlo ad Alfred Lion, il produttore della Blue Note Records, nel 1952 circa. Fu l'inizio di una sfolgorante carriera che associò il nome di Van Gelder principalmente all'etichetta Blue Note, anche se lavorò con le principali etichette jazz newyorkesi degli anni cinquanta, tra cui la Prestige e la Savoy.
Van Gelder, che aveva continuato fino ad allora a lavorare dal salotto della casa dei genitori, nell'estate del 1959 spostò lo studio in un ambiente più spazioso a Englewood Cliffs, pochi chilometri a sudest del luogo originale (si dice spesso[senza fonte] che questo fosse stato costruito allo scopo, ma era in realtà stato costruito per diventare l'abitazione dei genitori di Van Gelder).
Van Gelder registrò la maggior parte dei grandi del jazz della seconda metà del XX secolo, tra cui Miles Davis, Thelonious Monk, Wayne Shorter, John Coltrane e moltissimi altri, contribuendo a immortalare dischi che hanno fatto storia. A metà degli anni 50, Monk compose un pezzo intitolato Hackensack dedicato proprio a Van Gelder e al suo studio. A Hackensack, Sonny Rollins registrò Saxophone Colossus e il quintetto di Miles Davis effettuò le sessioni della serie Cookin' with the Miles Davis Quintet. Nello studio di Englewood Cliffs, nel 1964, John Coltrane registrò il leggendario A Love Supreme per la Impulse! Records. In quegli anni anche la Verve Records iniziò ad avvalersi di Van Gelder, così come altre etichette, tra cui la CTI Records (un'etichetta specializzata in smooth jazz), che registrò a Englewood Cliffs molti album di successo.
Le registrazioni di Van Gelder sono ammirate per il calore e la presenza dei suoni, anche se alcuni critici[senza fonte] osservano che il suono del pianoforte nelle registrazioni più vecchie può apparire esile e remoto.
Gli ultimi anni lo hanno visto impegnato nella rimasterizzazione digitale a 24 bit del catalogo Blue Note per l'ultima serie di riedizioni, vivendo e lavorando a Englewood Cliffs.[1]