À la mort de son père, Anson abandonné le droit et commence le premier de nombreux voyages sur le continent, comme c'est alors la mode pour les jeunes hommes de fortune et de goût. En 1732, Anson et son ami le comte de Sandwich forment un club de diner bruyant appelé la Société des Dilettanti, qui a également le but plus sérieux d'encourager l'étude de l'architecture grecque. En 1740, Thomas rejoint brièvement son frère George sur le Centurion, alors que lui et son équipage commencent leur tour du monde. Anson les quittent pour se rendre en Égypte. Cela le qualifie pour l'Egyptian Society et la Divan Society, cette dernière étant un club de beuverie sauvage dont Lord Dashwood et Lady Mary Wortley Montagu sont des membres principaux.
En 1748, Anson est envoyé à Versailles par Lord Sandwich avec une correspondance secrète pour le duc de Choiseul et Madame de Pompadour. A Paris, il achète des crayons pour son amie la duchesse de Bedford, et sa belle-sœur, lady Anson, lui envoie une longue liste de cadeaux qu'elle désirait.
En 1762, il hérite de l'immense fortune du trésor espagnol amassé par son frère amiral. Cela lui permet de s'adonner davantage à sa passion pour l'architecture à Shugborough. Anson et un autre membre de la Société des Diletantti reconstruisent la maison dans le style néo-grec que le couple défend en Angleterre. Anson remplit Shugborough de peintures, de livres et d'objets d'art, et fait peindre des allégories à Vasalli sur les plafonds. Le parc est parsemé de temples et de folies, dont le mystérieux monument du berger, la pagode, le pigeonnier et la tour des vents. Le parc est décrit par certains comme une métaphore du tour du monde de Lord Anson. D'autres soutiennent qu'il engage des aspects de nombreuses cultures, à la fois en hommage au voyage de l'amiral Anson et en tant que représentation de l'intérêt de Thomas Anson pour les philosophies syncrétiques [1].
Anson est décédé célibataire en mars 1773. Les domaines Anson sont transmis à son neveu, George Adams, qui prend le nom de famille d'Anson et est l'ancêtre des comtes de Lichfield.