McGriff stammt aus einer musikalischen Familie, beide Eltern spielten Klavier (und Benny Golson ist ein Vetter von ihm). Er lernte zunächst ab 5 Jahren Klavier und dann Altsaxophon und Bass (sowie Schlagzeug und Vibraphon), den er auch als Jugendlicher in einem Klaviertrio spielte (u. a. begleitete er die Sängerin Big Maybelle). Danach war er einige Zeit als Militärpolizist in Korea und begann nach seiner Rückkehr zunächst in Philadelphia bei der Polizei. Die Erfolge seines Jugendfreundes, des Organisten Jimmy Smith sowie der Einfluss von Richard „Groove“ Holmes (den er auf der Hochzeit seiner Schwester hörte), seinem Lehrer und späteren Freund, brachten ihn wieder der Musik näher.
Er studierte Orgel am Combe College of Music in Philadelphia, an der New Yorker Juilliard School of Music, bei Milt Buckner und beim klassischen Organisten Sonny Gatewood. 1960 wurde er professioneller Musiker, der in der Umgebung von Philadelphia mit eigener Combo auftrat und durchreisende Musiker wie Carmen McRae begleitete. 1961 machte sein Trio erste eigene Aufnahmen (Hit mit I’ve Got a Woman von Ray Charles), gefolgt von einem Album 1962 beim Label Sue mit seinem Hit All About My Girl. Nach dem Album Blues for Mr. Jimmy (1965, mit Larry Frazier) wechselte er zu Solid State Records, wo ihn Produzent Sonny Lester als einen der Hauptmusiker des Labels herausbrachte (The Worm 1968). McGriff zog nach Newark in New Jersey, wo er auch einen eigenen Club eröffnete. Ab 1969 spielte er regelmäßig mit der Bigband von Buddy Rich, mit dem er auch zwei Jahre Mitte der 1970er-Jahre tourte (The Last Blues Album Vol. 1, 1974).
1972 zog er sich vorübergehend aus dem Musikgeschäft zurück, um Pferdezucht in Connecticut zu betreiben, kehrte aber schon ein Jahr später zurück. Er nahm für Groove Merchant (das Label war ebenfalls von Lester) auf. In den 1980er-Jahren erlebte seine Musik in der Sampler-Szene ein Comeback. Ab 1986 spielte er häufig mit Hank Crawford (Soul Survivors, 1987; Road Tested, 1997) und tourte mit einem eigenen Quartett.
