Narodil se v Paříži v italsko-francouzské rodině a ve 12 letech začal hrát na housle. Odmítal však učitele a chodil poslouchat pouliční houslisty v metru. Později v letech 1920–1923 přesto vystudoval pařížskou konzervatoř a v letech 1923–1925 se živil hraním v biografu k němým filmům. V blízké restauraci se prvně setkal se skutečným jazzem a začal hrát na klavír v jazzovém orchestru. Tam se také poprvé setkal s romským kytaristou Django Reinhartem, s nímž v roce 1934 založil jazzový kvintet Hot Clubu de Paris a v letech 1935–1938 spolu hráli v nočním klubu La grosse pomme na Montmartre. Za války působil Grappelli v Londýně, od roku 1949 opět s Reinhartem v Itálii, kde nahráli množství desek a titulů. Grappelli nahrál stovky desek s hudebníky různých žánrů, například s jazzovým pianistou Oscarem Petersonem, houslistou Jean-Luc Pontym, vibrafonistouGary Burtonem, popovým zpěvákem Paul Simonem, hráčem na mandolínu David Grismanem, rockovou skupinou Pink Floyd (alternativní verze písně „Wish You Were Here“, která vyšla až v roce 2011), klasickým houslistou Yehudi Menuhinem nebo s orchestrálnímdirigentemAndré Previnem. Roku 1997 byl oceněn cenou Grammy Award za celoživotní dílo.
