James né le à Londres. C'est le fils d'Eric Hyde Villiers et de Joan Ankaret Talbot. Il fait ses études au Wellington College(en) et à la Royal Academy of Dramatic Art. Il obtient son diplôme en 1953[1],[2]. James est issu d'un milieu bourgeois, il est petit-fils de Sir Francis Hyde Villiers et arrière-petit-fils de George Villiers. Sa mère descend du comte Talbot. Son ascendance aristocratique se reflète souvent dans les types de rôles qu'il joue, comme le roi Charles II dans la série de la BBCThe First Churchills (1969), le comte de Warwick dans Saint Joan (1974) et sur scène en tant que Lord Thurlow dans The Madness[1].
Nicholas Whittaker, auteur de Platform Souls et Blue Period ayant travaillé à la Belsize Tavern en 1979 et 1980 affirme se souvenir des visites de Villiers au pub en compagnie de l'acteur local Ronald Fraser. Après l'heure de fermeture, ils se retrouvait souvent dans le restaurant d'en face. Rupert Everett affirme également l'avoir rencontré dans un restaurant indien, quelque temps en 1985, « ivre, sans jambes, insultant le pauvre serveur qui souffre depuis longtemps dans un étrange vibrato haletant représentatif du cercle supérieur »[5] Ailleurs, Villiers est décrit comme un « gros buveur » qui participe à des concours de beuverie avec son ami Peter O'Toole[6].
Villiers s'est marié deux fois : en 1966 avec Patricia Donovan (divorcés en 1984) et en 1994 avec Lucy Jex, jusqu'à sa mort. Lui et sa première femme ont adopté un fils, Alan Michael Hyde Villiers (né Alan Donovan).
