Les primeres traces de població humana a la regió de la comuna de Compiègne es remunten a l'inici del 5000 A.C. i continuen fins a la conquesta romana.[3] A l'època de la Gàl·lia romana, Compiègne va ser un punt de pas per travessar el riu Oise connectat a la xarxa de vies secundàries a la frontera dels territoris dels Bellovaques (Beauvais) i dels Suessions (Soissons). Un guè es trobava al lloc anomenat el Clos des Roses entre Compiègne i Venette. Al barri del Clos des Roses s'han trobat les restes d'un edifici romà, el qual es creu que podia ser una fortificació militar.[4] Als voltants de la ciutat hi han presencia de viles romanes.[5][6]
Edat Mitjana
Alt Mitjana
El suburbi de Saint-Germain sembla ser el primer lloc habitat situat dins de l'actual ciutat de Compiègne ja que la ciutat, en el seu emplaçament actual, és relativament recent. Aquesta ciutat va créixer al voltant del castell de Compiègne, establert pels dels reis de França. Compiègne va estar associada a la corona de França des de l'arribada dels Merovingis. El document més antic que l'esmenta és un diploma de Khildebert I el 547.
El 2 de gener de 876, Carles el Calb va ordenar la construcció de la col·legiata Santa Maria, lo que en un futur passaria a ser l'actual abadia de Saint-Corneille, on va ser consagrat pel papa Joan VIII el 5 de maig de 877.[11] Per aquesta construcció es va inspirar en l'Aix-la-Chapelle. Des de ençà esdevingué aquesta edificació el nucli al voltant del qual la ciutat començà a desenvolupar-se i el rei hi construí un nou palau.
El seu fill Lluís el Tartamut va ser coronat rei a Compiègne el desembre de 877 també a l'abadia de Saint-Corneille per l'arquebisbeHincmar de Reims i hi va morir l'any 879, després de la derrota l'any 883 de Carlemany contra els normands. Va ser enterrat a l'abadia de Saint-Corneille.
El 1804, el castell de Compiègne va passar a formar part del domini imperial després de l'abdicació del rei Carles IV d'Espanya davant de Napoleó. El març de 1810, l'emperador es va trobar allí per primera vegada amb Maria Luisa d'Àustria.
El 15 de març de 1814, els prussians ataquen la ciutat per la carretera de Noyon.
Primera Guerra Mundial
L'11 de novembre de 1918, al bosc nacional de Compiègne, en un vagó de tren al mig d'un bosc, prop de Rethondes, es va signar l'Armistici de Compiegne de 1918 entre França i Alemanya en presència del mariscal Foch, del general Weygand i el representant alemany, Matthias Erzberg[12] per posar fi a les hostilitats en el front occidental de la Primera Guerra Mundial.[13]
Al final de la guerra, molts edificis de la ciutat van ser destruïts i la ciutat de Compiègne va ser condecorada amb Creu de Guerra 1914-1918, el 9 de juliol de 1920.
Segona Guerra Mundial
En el mateix lloc, en una clariana anomenada clariana de Rethondes o clariana de l'Armistici, i en el mateix vagó que al 1918, es signa l'Armistici del 22 de juny de 1940 entre França, representada per la delegació enviada pel mariscal Pétain i presidida pel General Huntziger, i Alemanya, representada pel mariscal Keitel. Adolf Hitler i molts dignataris alemanys hi eren presents l'endemà, dia inaugural de la negociació d'Armistici. L'Armistici establí les condicions oficials de l'ocupació alemanya de França, que resultà dividida en dues grans zones: la França Ocupada, directament sota control alemany, i l'anomenada Zona Lliure, sota l'autoritat de la França de Vichy.