Отец и дед Хью (V), Хью Диспенсер Старший и Хью Диспенсер Младший были казнены в 1326 году, их владения и титулы были конфискованы. Мать Хью была заключена в Лондонском Тауэре. Три сестры Хью, Элинор, Джоан и Маргарет, были насильственно пострижены в монахини. Этой участи избежали только старшая замужняя сестра Изабель и самая младшая, Элизабет, бывшая в то время младенцем.
Хью пытался защитить замок Кайрфилли от армии королевы Изабеллы, но весной 1327 года был вынужден сдаться в обмен на обещание жизни. Он также был отправлен в заключение.
Ситуация изменилась после свержения и казни Роджера Мортимера королём Эдуардом III в 1330 году. В 1331 году Элинор де Клер, матери Хью, были возвращены владения в Валлийской марке, а в июле Хью был выпущен на свободу.
Будучи близким родственником короля Эдуарда III, он получил восстановленный для него в 1338 году титул барона ле Диспенсера. Также он после смерти матери в 1337 году унаследовал её владения, а в 1338 году получил титул лорда Гламоргана.
После начала Столетней войны Хью вместе с братьями принимал участие в военных операциях короля Эдуарда III во Франции. Он 24 июня 1340 года сражался в морской битве при Слейсе, а 26—27 августа 1346 года — в битве при Креси.
Хью умер 8 февраля1349 года. Детей он не имел, так что его владения унаследовал племянник, Эдвард ле Диспенсер. Титул же барона ле Диспенсера на некоторое время исчез, но в 1357 году был восстановлен для Эдварда.
Cokayne George E. The complete peerage of England, Scotland, Ireland, Great Britain and the United Kingdom, extant, extinct, or dormant / edited by H. A. Doubleday, Duncan Warrand and Lord Howard de Walden. — 2nd Edition. — London: The St. Catherine Press, 1910–1959.
Устинов В. Г. Столетняя война и Войны Роз. — М.: АСТ: Астрель, Хранитель, 2007. — 637 с. — (Историческая библиотека). — 1500 экз. — ISBN 978-5-17-042765-9.
