Pierre Joxe wurde als Sohn von Louis Joxe, einem Minister unter General de Gaulle, und Françoise-Hélène Halévy im 1. Arrondissement von Paris geboren. Er ist Enkel des Essayisten Daniel Halévy und Urenkel des Bühnenautors, Dramatikers und Librettisten Ludovic Halévy. Zu seinen weiteren Vorfahren zählt der Uhrmacher und Physiker Louis Breguet. Sein Bruder ist der Soziologe Alain Joxe.
Nach dem Erwerb einer Licence en droit und dem Diplom des Institut d’études politiques de Paris (Sciences Po) begann er im Juni 1960 seine Ausbildung an der École Nationale d’Administration (ENA), die in Frankreich traditionell die Elite der Verwaltungsbeamten ausbildet. Diese Ausbildung schloss Joxe als Mitglied des ENA-Jahrgangs Albert Camus 1962 ab.
Im Juni 1962 begann Joxe seine Tätigkeit am Rechnungshof. Im Jahr darauf wurde er Berichterstatter beim Commissariat général du Plan. Zudem lehrte er von 1963 bis 1973 als Dozent (maître de conférences) der Sciences Po. Von 1967 bis 1970 arbeitete er in der Abteilung für wissenschaftliche und technische Zusammenarbeit im Außenministerium.
Im März 1993 wurde Joxe zum Präsidenten des Rechnungshofes ernannt. Aus dieser Funktion schied er im Februar 2001 aus, weil er vom Präsidenten der Nationalversammlung (Raymond Forni) mit Wirkung zum 12. März 2001 zum Mitglied des Verfassungsrates ernannt wurde. Dieses Amt hatte er bis zum 12. März 2010 inne.
Privates
Joxe widmet einen Teil seines Privatlebens der Musik. Er spielt seit seiner Kindheit Klavier, das er von seiner Großmutter, einer Pianistin[1] und Cousine Georges Bizets, erlernte. Im Alter von 60 Jahren begann er mit dem Violoncello-Spiel mit der Motivation, die sechs Cello-Suiten von Johann Sebastian Bach spielen zu können.