Merrill wuchs als Sohn einer polnischstämmigen jüdischen Familie in Brooklyn auf. Nach glaubwürdigen Informationen lautete der Familienname ursprünglich nicht Miller, sondern Milstein, wodurch der junge Künstler später sofort als Jude identifiziert werden konnte. Er erhielt ersten Gesangsunterricht bei seiner Mutter Lillian Miller und studierte später Gesang bei Samuel Margolis.
Während dieser Zeit spielte er auch zeitweise für ein halbprofessionelles Baseballteam. Seine Sängerkarriere begann er unter dem Namen „Merrill Miller“ in Touristenlokalen. Seit ca. 1940 verwendete er den Künstlernamen „Robert Merrill“, weil er wegen seiner jüdischen Herkunft Diskriminierung an den großen Opernhäusern fürchten musste.
1944 gab er in Trenton (New Jersey) sein Operndebüt als Amonasro in VerdisAida, und zwar an der Seite des einstmals weltberühmten Tenors Giovanni Martinelli, der nach dem Abschied von der Bühne mit einer eigenen Operntruppe durch die amerikanische Provinz reiste. Nachdem er den Radio-Nachwuchswettbewerb Auditions of the Air der New Yorker Metropolitan Opera gewonnen hatte, debütierte er an diesem Opernhaus 1945 als Germont in Verdis La traviata. Unter Intendant Rudolf Bing wurde er endgültig einer der Stars des Ensembles der Metropolitan Opera, wo er bis 1976 sang. Durch seine insgesamt 787 Auftritte dort und zahlreiche Rundfunk- und Schallplattenaufnahmen (unter anderem mit Arturo Toscanini) wurde er weltweit bekannt. Zusammen mit dem schwedischen TenorJussi Björling bildete er über mehrere Spielzeiten hinweg das „dream team“ der Metropolitan Opera. Sie traten erstmals gemeinsam in der Spielzeit 1949–50 in der Oper Don Carlo von Giuseppe Verdi auf. Die Tenor-Bariton-Duette aus Opern von Giuseppe Verdi, Giacomo Puccini und Georges Bizet, die beide im Winter 1950–51 einspielten, gelten bis heute als unübertroffene Referenzaufnahmen. Die Aufnahme des Duetts „Au fond du temple saint“ aus Bizets Oper Die Perlenfischer wurde in die „Hall of Fame“ als eine der wichtigsten und vollkommensten Musikeinspielungen der Schallplattenära aufgenommen.
Neben seiner Dauerverpflichtung in New York absolvierte Merrill zahlreiche Gastspiele an den großen amerikanischen und europäischen Opernhäusern. Neben Leonard Warren, dessen Nachfolger er an der Metropolitan Opera wurde, gilt Merrill als der bedeutendste amerikanische Bariton.
Merrill wurde einem breiten Publikum bekannt, als er alljährlich die amerikanische Nationalhymne zur Eröffnung der Baseballspielzeit im Stadion der New York Yankees sang. Außerdem wurde dort vor jedem Heimspiel seine Schallplattenaufnahme der Nationalhymne gespielt.
Merrill war in erster Ehe mit der Opernsängerin Roberta Peters verheiratet. In zweiter Ehe war er mit der Pianistin Marion Machno verheiratet, mit der er einen Sohn und eine Tochter hatte.
1952 spielte Merrill in der Musikkomödie Aaron Slick from Punkin Crick eine Rolle, obwohl der Intendant der Metropolitan, Rudolf Bing, ihm dies verboten hatte. Für sein Mitwirken in dem Streifen, der als einer der „all-time worst movies“ bezeichnet wird, musste der Sänger für eine Spielzeit aussetzen und sich bei Bing schriftlich entschuldigen.
Schriften
Robert Merrill/Sanford Dody: Once more from the beginning. MacMillian, New York 1965 (Autobiographie)
Robert Merrill/Fred G. Jarvis: The Divas 1978 Simon & Schuster, New York 1978, ISBN 0-671-24239-3 (Roman)
Robert Merrill/Robert Saffron: Between acts. An Irreverent Look at Opera and Other Madness. McGraw-Hill, New York 1976, ISBN 0-07-041501-3