12 października 1946 r. poślubił Ann Fortune Smith (ur. 1920), córkę kapitana Evana Smitha i Helen Williams. Hugh i Ann mają razem dwóch synów i trzy córki:
James Olivier Charles FitzRoy (ur. 13 grudnia 1947), hrabia Euston, dziedzic wszystkich ojcowskich tytułów, ożenił się z lady Claire Kerr, ma dzieci
Henrietta Fortune Doreen FitzRoy (ur. 14 września 1949), żona Edwarda St. George’a, ma dzieci
Virginia Mary Elisabeth FitzRoy (ur. 10 kwietnia 1954), żona lorda Ralpha Kerr (brata lady Claire), ma dzieci
Charles Patrick Hugh FitzRoy (ur. 7 stycznia 1957), ożenił się z Dianą Miller-Stirling, ma dzieci
Olivia Rose Mildred FitzRoy (ur. 1 sierpnia 1963), żona Johna Guy Elmhirst Monson, ma dzieci
W 1976 r. książę został kawalerem Orderu Podwiązki. Mieszkał razem z żoną w swej rodowej posiadłości Euston Hall niedaleko Thetford w hrabstwie Norfolk.