Nel 1754, incontrò la diciassettenne Margaret Poyntz, figlia di Stephen Poyntz. I due furono immediatamente attratti l'un l'altro, ma Spencer, incerto di ottenere l'approvazione della sua famiglia, decise di trascorrere diversi mesi viaggiando fino al suo ventunesimo compleanno, quando la loro approvazione non sarebbe più stata necessaria. Al suo ritorno la famiglia riconobbe che il loro amore era sincero e, poco dopo il suo compleanno, si sposarono in una cerimonia privata il 20 dicembre 1755 ad Althorp. La cerimonia, tenuta nella stanza da letto della madre, avvenne durante un ballo tenuto in onore di Spencer con cinquecento ospiti presenti.
