Pertama kali dibangun selama abad ke-11 pada masa pemerintahan Kaisar Song Renzong dari Dinasti Song. Desa ini awalnya dinamakan Xichuan (Sungai Barat), yang mengalir melalui Desa Xidi. Karena ada pos penjagaan di sebelah barat desa, maka dinamakan "Xidi" (西递, pos barat).[5]
Penghuni Desa Xidi yang pertama adalah keluarga Hu Shiliang, yang merupakan keturunan dari putra Kaisar Zhaozong dari Tang yang melarikan diri ketika kekaisaran Tang diserbu oleh para pemberontak. Keluarga itu mengganti marganya menjadi Hu sebagai penyamaran setelah diadopsi oleh keluarga Hu dari County Wuyuan (bagian dari Provinsi Anhui hingga tahun 1989, sekarang menjadi bagian dari Provinsi Jiangxi).[7][8]
Kebangkitan desa ini terkait erat dengan kekayaan keluarga Hu. Pada tahun 1465, selama Dinasti Ming (1368-1644), anggota keluarga Hu mulai berbisnis sebagai pedagang, sehingga mampu membangun rumah, gedung dan infrastruktur publik di Desa Xidi. Pada pertengahan abad ke-17, pengaruh yang dimiliki oleh anggota keluarga Hu semakin meluas, dari perdagangan merambah ke bidang politik. Kemakmuran Desa Xidi mencapai puncaknya pada abad ke-18 dan ke-19, saat itu Desa Xidi terdiri dari sekitar 600 tempat tinggal. Namun, selama akhir abad ke-19, disintegrasi sistem feodal yang terjadi di Tiongkok dan penurunan komunitas pedagang di seluruh Provinsi Anhui, menyebabkan ekspansi bisnis keluarga Hu dan perkembangan Desa Xidi terhenti.[8]
.svg)
