Gli succedette suo figlio primogenito, John, II barone, che fu parlamentare per le costituenti di Bossiney, Perth e per il West Riding dello Yorkshire alla camera dei comuni. Alla sua morte i titoli passarono al suo primogenito, il III barone, il quale fu consigliere della Manchester, Sheffield and Lincolnshire Railway, che sotto la sua leadership divenne poi la Great Central Railway. Nel 1876 venne creato Visconte Carlton, di Carlton nel West Riding della Contea di York, e Conte di Wharncliffe, nel West Riding della Contea di York, con possibilità di trasmissione anche a suo fratello Francis Dudley Stuart-Wortley-Mackenzie (1829–1893). Questi titoli vennero riconosciuti nella Parìa del Regno Unito. Nel 1880 lord Wharncliffe assunse anche il cognome di Montagu. Gli succedette (nella vicecontea e nella contea) suo nipote Francis, il II conte. Questi era figlio primogenito di Francis Dudley Stuart-Wortley-Mackenzie. Questa linea della famiglia si estinse alla morte del nipote di questi, il IV conte, nel 1987. All'ultimo conte succedette il cugino di secondo grado, il V ed attuale conte, Richard Alan Montagu-Stuart-Wortley, nato a Portland, nel Maine, Stati Uniti. Questi è figlio di Alan Ralph Montagu-Stuart-Wortley, unico figlio di Ralph Montagu-Stuart-Wortley, unico figlio di Ralph Granville Montagu-Stuart-Wortley, fratello minore del II conte.
La sede della famiglia fu Wortley Hall ma l'attuale conte non l'ha ereditata (attualmente è di proprietà di lady Rowena Montagu Stuart Wortley Hunt, figlia secondogenita del IV conte).