Elizabeth war eine Tochter von Frederick Hervey, 4. Earl of Bristol (1730–1803), und seiner Ehefrau Elizabeth Davers († 1800), Tochter von Sir Jermyn Davers, 4. Baronet. Sie wurde in der Familie „Bess“ genannt.
1776 heiratete Lady Elizabeth den Aristokraten Sir John Thomas Foster († 1796). Sie hatten drei Kinder:
Frederick Thomas Foster (1777–1853);
Elizabeth Foster (1778–1778);
Sir Augustus John Foster, 1. Baronet (1780–1848).
Sie lebten nach 1779 im Ickworth House in Bury St Edmunds. Die Ehe war nicht glücklich und sie trennten sich 1781, nachdem die Beziehung mit einem Diener ans Licht kam. Darauf übernahm John Thomas Foster die alleinige Erziehung seiner Söhne.