Pyles musikalske karriere startet i 1966 da han og barndomsvennen Phil Miller samt Phils bror Steve Miller grunnla bandet Bruno's Blues Band, som kort tid etterpå ble til Delivery. Han forlot bandet i 1970 etter en krangel med sangeren Carol Grimes og spilte deretter sporadisk i bluesbandene Chicken Shack og Khan. I 1971 fikk Pyle et tilbud av Robert Wyatt (fra Soft Machine) om å spille for han på et spor på Daevid Allens soloutgivelse Banana Moon. Etter denne innspillingen ble Pyle med Allen videre til Gong hvor han var medlem av bandet i rundt åtte måneder og deltok på studioutgivelsene Camembert Electrique og Continental Circus (begge utgitt i 1971). Pyle ble erstattet av Laurie Allan, men ble igjen medlem av bandet i en periode på 1990-tallet.
I 1984 møtte Pyle Sophia Domancich som han fikk et langvarig forhold til. Han startet i denne perioden også sitt eget band kalt Pip Pyle's Equip'Out, som også inkluderte Domancich og som gav ut utgivelsene Equip'Out, Up! and Instants. Pyle gav ut sin første soloutgivelse i 1998 kalt Seven Year Itch, og som inkluderte en rekke fremstående musikere som Phil Miller, David Sinclair, Dave Stewart, Elton Dean, Hugh Hopper, Jakko Jakszyk, Barbara Gaskin, John Greaves, François Ovide, Fred T. Baker, Paul Rogers, Lydia Domancich og Didier Malherbe. Pyle spilte også trommer i In Cahoots mellom 1982 til 2001, og var med på utgivelsene Cutting Both Ways, Split Seconds, Live 86-89, Live in Japan, Recent Discoveries, Parallel and Out of the Blue.
I 2005 gikk han sammen med Phil Miller og Richard Sinclair for en rekke turnekonserter med Hatfield and the North, som brakte dem rundt i Europa, Japan og USA. Han spilte sin siste konsert i Nederland to dager før sin død i Paris.
