Palazzo Pitti was de residentie van de bankier Luca Pitti, telg uit een familie die 300 jaar tot de rijkste en meest invloedrijke families van Florence behoorde.
Het Palazzo Pitti werd in 1458 naar een ontwerp van Brunelleschi gebouwd. Eleonora van Toledo kocht het in 1549 waarna het tot 1737 in bezit van de familie De' Medici bleef. Cosimo I de' Medici verbond het Palazzo Pitti met het Palazzo Vecchio door de constructie van de Corridoio Vasariano. In 1737 werd het gebouw eigendom van leden van het huis Habsburg Lotharingen. De kunstschatten die de De' Medici verzameld hadden kwamen overigens niet in hun bezit, maar werden eigendom van de stad. Later werd het paleis de Florentijnse residentie van Napoleon Bonaparte.
Na de eerste fase van de eenwording van Italië werd Florence de tijdelijke hoofdstad van het land (1865-1870). Gedurende deze periode was het paleis de residentie van de Italiaanse koninklijke familie. Een groot deel van de inrichting komt uit deze tijd. De versiering komt echter voor het grootste deel uit de tijd van de De' Medici's.
De binnenplaats is ontworpen door Bartolomeo Ammanati. Palazzo Pitti onderging in de loop der eeuwen talrijke uitbreidingen en wijzigingen. Achter Palazzo Pitti bevinden zich de Boboli-tuinen.