El lugar del palacio estaba ocupado aún en los siglos VI y VII por una gran villagalorromana, y más tarde se convirtió en un palacio carolingio. El primer uso documentado del nombre data del año 1131, y proviene de la planta del edificio, que recuerda a la letra «Τ» (tau, en el alfabeto griego). La mayor parte del primer edificio ha desaparecido: la parte más antigua que se conserva es la capilla, del año 1207. El edificio fue ampliamente reformado en estilo gótico entre 1498 y 1509, y modificado hasta su actual apariencia barroca entre 1671 y 1710 por Jules Hardouin-Mansart y Robert de Cotte. Resultó dañado por un incendio el 19 de septiembre de 1914, y no se reparó hasta después de la Segunda Guerra Mundial (1939-1945).
El palacio era la residencia donde permanecían los reyes antes de la ceremonia de consagración de los reyes de Francia. El rey se vestía para la consagración en el palacio, antes de marchar hacia la catedral; después, se celebraba un banquete en el palacio. El primer banquete de consagración documentado celebrado en el palacio fue el de 990, y el último, en 1825. La salle du Tau («sala del Tau»), donde se celebraba el banquete real, alberga una inmensa chimenea que data del siglo XV.
Desde 1972, el palacio de Tau es un museo nacional llamado Musée de l'Œuvre que muestra las esculturas y los tapices de la catedral y, en dos cámaras acorazadas, el Tesoro, que implica, en particular, relicarios y numerosos objetos utilizados con ocasión de la consagración de los reyes de Francia. Entre estos relicarios, se pueden citar el talismán de Carlomagno, regalo del califa Harún al-Rashid. Esta joya en oro, esmeralda, perlas y zafiros conteniendo una espina de la verdadera Cruz, se encontró en el cuello del emperador al exhumársele en 1166.
El palacio recibe alrededor de 100.000 visitantes cada año.[cita requerida] Desde el 1 de enero al 30 de junio de 2008, la entrada a la exposición permanente fue gratuita.[¿Por qué?]