Kardinal Ippolito II d'Este kom 9. september1550 til Tivoli som byens guvernør. Den offisielle boligen som ble stilt til disposisjon passet ham ikke, og han bestemte seg derfor for å bygge en villa. Over de neste 10 årene anskaffet han arealet, og fikk anlagt villaen med haven i bakken nedenfor villaen. Designen er tradisjonelt tilskrevet Pirro Ligorio som drev arkeologiske utgravninger av Villa Adriana like i nærheten.
Haven
Haven er anlagt med terrasser i skråningen nedenfor villaen, og utnytter fallet til fontener. For å skaffe vann ble det laget en viadukt fra Monte Sant'Angelo, samt en tunnel fra elven Anio. Vannet brukes i et stort antall fontener. Midt i haven er det en statue av Herkules.
Herkules var en av gudene som hadde beskyttet Tivoli, og var ifølge historikere fra det 16. århundre blant forfedrene til familien Este.
Men det er bruken av vann i alle fontenene som gir haven sitt særpreg, og som trekker store mengder besøkende den dag idag.
Villaen
Det fantes et kloster på stedet da den nye villaen ble anlagt. Deler av klosteret er inkorporert i det nye bygget.
