Berlin föddes i Kejsardömet Ryssland i en judisk familj men kom till USA vid fem års ålder, 1893, då hans familj emigrerade dit. Han publicerade sin första låt, "Marie from Sunny Italy" 1907 och fick 33 cent för förlagsrättigheterna, sin första stora internationella hit fick han med "Alexanders Ragtime Band" 1911. Sången utlöste en internationell ragtimefeber.
Irving Berlin skrev hundratals låtar, varav många blev stora hits och gjorde honom till en "legend" innan han fyllt 30. Under sin 60 år långa karriär skrev han uppskattningsvis 1 500 låtar, inklusive musiken till 19 Broadwayföreställningar och 18 Hollywoodfilmer, hans sånger nominerades åtta gånger till Oscar för bästa sång. Många låtar blev populära ledmotiv och hymner, däribland "Easter Parade", "White Christmas", "Happy Holiday", "This Is the Army, Mr. Jones" och "There's No Business Like Show Business". Hans Broadwaymusikal This is the Army uppfördes första gången 1938 och blev film 1942, som Irving Berlins paradrevy, med Ronald Reagan och Kate Smith som där sjöng Berlins "God Bless America".
Berlin gjorde i de flesta fall såväl text som musik till sina kompositioner. Han spelade enligt uppgift piano på gehör och förmedlade på detta sätt sina kompositioner till notskrivande medarbetare.
Irving Berlin avled vid 101 års ålder och är begravd på Woodlawn Cemetery i Bronx i New York.
