Er brachte sich als Jugendlicher das Spielen selbst bei, trat dann in einigen lokalen Bands auf, gehörte mit George Cables und Clint Houston zur Hausband von Slug’s Saloon, bevor er in den späten 1960er Jahren regelmäßig bei Jackie McLean mitspielte. 1969 spielte er bei Miles Davis auf dem Album Bitches Brew mit, das direkt im Anschluss an das Woodstock-Festival in nur drei Tagen aufgenommen wurde. Das Album war sehr ungewöhnlich, wurde kontrovers diskutiert, verkaufte sich allerdings überragend und gilt heute als die Keimzelle der Fusion-Musik.
1973 ging er zur Band Return to Forever. Als sich die Gruppe 1976 auflöste, begann seine Karriere als Bandleader. Er hat seitdem mehr als dreizehn Alben produziert, die allerdings nicht an seine großen Erfolge mit Miles Davis und Chick Corea anknüpfen konnten.