Egy klubban hallgatta a rádión Charlie Parkert, az új stílust, a bebopot, amit például Kid Ory is helytelenített. Pályafutása során McGhee Lionel Hampton, Andy Kirk, Count Basie és Charlie Barnet által vezetett zenekarokban játszott. 1946-47 között a Dial Records néhány lemezfelvételét készítették el Hollywoodban Charlie Parkerrel és McGhee-vel. Az elsőt 1946. július 29-én mutatták be. A zenészek Charlie Parker, Howard McGhee, Jimmy Bunn, Bob Kesterson és Roy Porter voltak. Parker egészsége összeomlásához közeledve játszotta a „Max is Making Wax”-ot, a „Lover Man”-t és a „The Gypsy”-t. McGhee továbbra is munkatársa maradt Parkernek. Olyan számokat játszott, mint a „Relaxin' at Camarillo”, a „Cheers”, a „Carvin the Bird” és a „Stupendous”.
Ez idő tájt McGhee a Los Angeles-i bebop egyik vezető zenésze lett, számos koncerten vett részt, felvételeket készített, és egy ideig még éjszakai klubot is vezetett. Kaliforniai tartózkodása faji előítéletek miatt ért véget, ami különösen aljas volt McGhee-vel szemben, akinek a felesége fehér volt.
Kábítószer-problémáitól McGhee az 1950-es évek nagy részében megszabadult, de az 1960-as években az újra felbukkant. Karrierje az 1960-as évek közepén újra felpörgött. 1976-ban készített új felvételeket. A hatvanas évek végén a három nagy együttes egyikét vezette New Yorkban. Az 1970-es évek közepén jelentek meg lemezeik.
Az 1970-es években McGhee zenét tanított, mind osztálytermekben, mind a Manhattan belvárosában található lakásán. Zeneelméletet tanított például Charlie Rouse-nak is.