Shirley era el segon fill de Laurence Shirley (que al al seu torn era quart fill de Robert Shirley, 1r Comte Ferrers) i de la seva dona, Anne. Per l'any 1738 es va unir a la Royal Navy i va ascendir als rangs de sotstinent el 1741, tinent el 1746 i post-capità poc després.
Dues setmanes després de l'execució del seu germà, Laurence Shirley, 4t Comte de Ferrers el 1760, Shirley va prendre el seu lloc a la Cambra dels Lords (com a el nou Comte Ferrers) i el 1763, Jordi III li va donar les finques familiars, abans perdudes pel seu germà per actes delictius (per a sorpresa de Casanova, en aquells dies visitant Londres) i va començar a transformar el seient familiar de Staunton Harold a Leicestershire. Més endavant seria promogut a contralmirall el 1771 i a vicealmirall el 1775.
Shirley va morir el 1778 a la Chartley Manor Place, Staffordshire, i va ser enterrat a Staunton Harold. Com no tenia cap fill amb la seva dona, Anne, el seu títol i les seves propietats van passar al seu germà petit, Robert.[2]
