Murray, der aus einer musikalischen Familie in Philadelphia stammt, begann mit neun Jahren am Schlagzeug. 1956 spielte er nach einem Umzug nach New York City bei Willie The Lion Smith und bei Henry "Red" Allen. Nachdem er kurze Zeit in der Bebop-Szene bei mit Jackie McLean, Ted Curson und Rocky Boyd tätig war, wirkte er von 1959 bis 1965 in verschiedenen Formationen mit Cecil Taylor zusammen. Durch sein innovatives Spiel mit Taylor (Live at the Café Montmartre, 1962) und ebenso mit Albert Ayler (Spiritual Unity und Bells) etablierte er sich als einer der führenden Schlagzeuger des freien Jazz; er arbeitete auch mit der New York Contemporary Five von Archie Shepp, John Tchicai und Don Cherry.
1966 wurde er im Kritikerpoll des Down Beat als führendes Schlagzeug-Talent, das weitere Beachtung verdiente, gewürdigt und konnte ein erstes Album als Bandleader mit Jacques Coursil und Byard Lancaster einspielen. 1968 ging er zunächst vorübergehend nach Frankreich, wo er sein Spiritual Ensemble gründete. 1969 spielte er in Paris drei Alben mit vorrangig amerikanischen Musikern ein, war aber auch an einem Album von François Tusques beteiligt.[2] Nachdem er sich einen Teil der 1970er Jahre in Philadelphia aufhielt, kehrte er 1979 mit seiner Gruppe Untouchable Factor, zu der so unterschiedliche Musiker wie Byard Lancaster, Khan Jamal oder Monnette Sudler gehörten, nach Europa zurück, wo er auch einen viel beachteten Auftritt auf dem Moers Festival mit dem damals noch jungen David Murray (nicht verwandt) hatte.
Murray, der auf einem minimal ausgerüsteten Schlagzeug-Set alleine mit Basstrommel, Snare, Becken und (selten benutztem) Hi-Hat spielte, verzichtete bereits bei Cecil Taylor auf das traditionelle Time-Keeping zugunsten eines ständig an- und abschwellenden Rhythmusgewebes von kontinuierlichem Beckenspiel und Akzenten auf der Bass Drum. Er schafft damit einen swingenden Puls in Rhythmusbögen und betont nicht mehr die Takteinheiten.[3] Charakteristisch für ihn ist ein besonders federndes Spiel.
Mit diesem innovativen Spiel schafft Murray „Raum, Farbe und Bewegung“, so sein Kollege Jack DeJohnette. Der Jazzautor (und vormalige Schlagzeuger) Stanley Crouch stellte ihn in eine Reihe mit Thelonious Monk und Miles Davis: „Er kann einen Klang so voller Musik spielen, weil er am genau richtigen Platz mit genau dem richtigen Touch gespielt wird.“[5]
Trotz seines stilistischen Neuerertums betonte Murray, der sich stolz in die Tradition des Jazz stellte, eine hierarchische Arbeitsteilung der Band und sah die Funktion als Sideman als „Hauptaufgabe“ des Schlagzeugers an.
