Yng nghanol y pentref ac ar lan Afon Mynwy, saif castell, a godwyd ychydig wedi 1066. Mae'n edrych yn debyg i Gastell Dolbadarn: un tŵr crwn, soled o garreg. Cofrestrwyd y castell fel Gradd II* yn Nhachwedd 1953. Mae'n un grŵp o dri chastell yn yr ardal, sydd hefyd yn cynnwys Castell y Grysmwnt a'r Castell Gwyn.