William Peveril den yngre arvede sin faders ejendomme, men i 1155 blev de konfiskeret af kong Henrik 2.. Henrik besøgte sin borg i 1157, 1158 og 1164, hvor han var vært for kong Malcolm 4. af Skotland første gang. Under oprøret i 1173–1174 blev borgens garnison udvidet fra en portner og to vagter til en styrke ledet af 20 riddere, der blev delt mellem borgene i Bolsover og Nottingham. Jarlerne af Derby havde krævet Peverilfamiliens ejendomme via ægteskab, og i 1199 betalte William de Ferrers, den fjerde jarl, 2.000 mark for herredømmet over Peak, selvom borgen forblev under konens kontrol. Det tætteste Peveril Castle kom på kamp var i 1216, hvor kong Johan gav borgen til William de Ferrers, men fæstningens kastellan nægtede at opgive kontrollen. Selvom de begge var Johans støtter, gav kongen tilladelse til, at jarlen kunne tage borgen med magt. Det fik castellanen til at kapitulere, men der er ingen tegn på, at borgen blev angrebet.
I 1223 overgik borgen igen til kronen. I 1200-tallet var der perioder hvor der blev bygget på borgen, og i 1300 var den endelige form klar. Mod slutningen af 1300-tallet gik baroniet til John of Gaunt, hertug af Lancaster. Han havde ikke meget brug for det, og beordrede den nedrevet og stenene genbrugt andre steder. Det var begyndelsen på fæstningens endeligt, og siden har den været ejet og administreret af Hertugdømmet Lancaster. Peveril Castle blev mindre vigtig administrativt, og i 1609 var den "meget ødelagt og tjente intet formål".[3] I 1800-tallet brugte Sir Walter Scott borgen i sin roman Peveril of the Peak. Det ligger i en nationalpark og drives af English Heritage. Peveril Castle er beskytet som scheduled monument[4] and a Grade I listed building.[5]
Brown, Reginald Allen (2004) [1954], Allen Brown's English Castles, Woodbridge: The Boydell Press, ISBN1-84383-069-8
Cathcart King, D. J. (1983), Castellarium Anglicanum: An Index and Bibliography of the Castles in England, Wales and the Islands. Volume I, New York: Kraus International Publications, ISBN0-527-50110-7
Creighton, Oliver (2002), Castles and Landscapes, London: Continuum, ISBN0-8264-5896-3
Harfield, C. G. (1991), "A Hand-list of Castles Recorded in the Domesday Book", English Historical Review, 106: 371-392, doi:10.1093/ehr/CVI.CCCCXIX.371, JSTOR573107
Hull, Lisa (2008), Understanding the Castle Ruins of England and Wales: How to Interpret the History and Meaning of Masonry and Earthworks, McFarland & Co, ISBN978-0-7864-3457-2
Jessop, Oliver; Beauchamp, Victoria (2015), Duffield Castle, Duffield, Derbyshire: a reappraisal, The JESSOP Consultancy, doi:10.5284/1031936
McNeill, Tom (1992), English Heritage Book of Castles, London: English Heritage and B. T. Batsford, ISBN0-7134-7025-9
Milward, Roy; Robinson, Adrian (1975), The Peak District, Taylor & Francis, ISBN978-0-413-31550-2
Pevsner, Nikolaus; Williamson, Elizabeth (1978) [1953], Derbyshire: Volume 8 of Buildings of England Pevsner architectural guides (2nd udgave), Penguin Books, ISBN978-0-14-071008-3