O nome provén do xenitivo dun posuidor xermánico, Fefilianis[1], de onde deriva tamén o nome da praza.
Foi construído no século XVI por Juan Sarmiento Valladares, conselleiro de Filipe II. Sufriu novos engadidos no século XVII, encargados polo primeiro vizconde de Fefiñáns, Gonzalo Valladares (1583-1659), que obtivo o Vizcondado no 1647. Sucedeuno Fernando (1616-1675), que a principios do século encargou a construción principal do Pazo. Máis tarde pasou á propiedade dos marqueses de Figueroa,[1] caso de Benito Pardo de Figueroa[2]. Na fachada do poderoso edificio pódense ver os escudos das familias nobiliarias.
No verán do 2008 procedeuse a unha limpeza e recuperación integral do edificio, tras un acordo coa Consellería de Vivenda, que incluía a apertura ao público do pazo [3]. En xuño de 2011, a Xunta de Galicia iniciou os trámites para declarar ao pazo Ben de Interese Cultural[4], dez anos despois de que o conxunto histórico de Cambados entrara nesa categoría. O proceso rematou en agosto de 2012, coa declaración do pazo como ben protexido.
Adega
Dende o 1904 está documentada a existencia da súa adega, con marca rexistrada no 1928, e que a día de hoxe comercializa viñoalbariño baixo a marca Palacio de Fefiñanes.
Estilo
O pazo conxuga elementos barrocos con outros italianos post-renacentistas.[1]