Narodil se do hudební rodiny – jeho otec byl profesorem konzervatoře v Marseille, svého syna učil, ale nepřál si, aby se stal flétnistou. Mladý Jean-Pierre zahájil studium medicíny, ale 2. světová válka toto studium přerušila. Jean-Pierre Rampal se po válce na medicínu nevrátil, ale stal se posluchačem pařížské konzervatoře. V r. 1946 vyšla Rampalovi první deska a zároveň se stal flétnistou lázeňského orchestru ve Vichy. V r. 1947 začalo Rampalovo první turné po Evropě a zároveň navázal více než třicetiletou spolupráci s klavíristou Robertem Veyron-Lacroix. Rok 1958 je dalším důležitým mezníkem v životě J. P. Rampala. Jednak působí jako 1. flétnista v pařížské opeře, ale především triumfuje v zámoří, na svém turné po USA. Zde se také seznámil s výrobci fléten zn. Haynes, na které pak celoživotně hrál.
V roce 1969 se stal profesorem Pařížské konzervatoře, kde vyučoval až do r. 1981 a vychoval řadu významných flétnistů. V archivech objevoval staré zapomenuté skladby, které uváděl do života, zajímal se ale i o soudobou hudbu a skladby svých současníků (K. Penderecki, P. Boulez, A. Jolivet), v neposlední řadě premiéroval flétnový koncert českého skladatele Jindřicha Felda.
Založil několik ansámblů (například Quintette à vents français a l’Ensemble baroque de Paris). Od roku 1950 spolupracoval také s českými interprety a dirigenty, například s Václavem Neumannem, Viktorií Švihlíkovou, Pražským komorním orchestrem.
Nejtrvalejší byla jeho spolupráce s Milanem Munclingerem a souborem Ars rediviva (od počátku padesátých let až do roku 1984), s nimiž uskutečnil také řadu významných nahrávek pro české i zahraniční gramofonové společnosti, rozhlas a televizi. Milan Munclinger vyučoval pravidelně v Rampalově Académie Internationale v Nizze a byl také porotcem ve flétnové soutěži Concours de flûte Jean-Pierre Rampal v Paříži.
Významné bylo i Rampalovo přátelství s českým skladatelem Jindřichem Feldem. Rampal premiéroval Feldův flétnový koncert, který vynikal obtížností a na svoji dobu moderními hudebními postupy. Rampal byl koncertem nadšen a později si objednal u Felda i flétnovou Sonátu. Tu Rampal provedl v r. 1962 na svém pražském recitálu za klavírního doprovodu Alfréda Holečka.
J. P. Rampal získal za svůj obrovský přínos hudbě několik ocenění, mj. "Le Prix du Président de la République" (Cena prezidenta republiky), "Grand Prix du Disque" (Velká cena za nahrávky). V r. 1989 vyšla v anglickém originále jeho autobiografie "Music, My Love".
Jean-Pierre Rampal zemřel 20. 5. 2000 na selhání srdce a je pohřben na pařížském hřbitově Montparnasse.
Význam
Výrazně přispěl k prosazení příčné flétny jako sólového koncertního nástroje a k objevování a propagaci předklasické flétnové literatury. V této oblasti spolupracoval s mnoha osobnostmi, například Trevorem Pinnockem, Jeanem-Françoisem Paillardem a dalšími. Uváděl ale i skladby současných autorů (André Jolivet, Francis Poulenc).