En su casa de Azcoitia, junto con José María de Eguía, III marqués de Narros, y Manuel Ignacio de Altuna y Portu, todos aristócratas de la misma ciudad, que eran conocidos como los «Caballeritos de Azcoitia»o el «Triunvirato de Azcoitia», fundaron una academ de tipo ilustrado. De aquí surgiría la «Real Sociedad Bascongada de Amigos del País», que en 1763 presentó el plan de creación y fue aprobado en 1765. El conde fue el principal impulsor y sería nombrado director perpetuo.
De este triunvirato también surgiría en 1767 el Seminario de Vergara. Estos serían centros pilotos del pensamiento ilustrado y de la ciencia españoles.
