Het oorspronkelijke kasteel werd in de 16e eeuw tijdens het beleg van Zaltbommel in 1599 geheel verwoest. In 1740 werden de restanten afgebroken om plaats te maken voor een (kleiner) rentmeestersslot. In 1850 brak de toenmalige eigenaar, baron Van Randwijck, het rentmeesterslot af en bouwde op deze plaats een buitenverblijf met koetshuis. Van 1949 tot 2002 was het gebouw eigendom van de gemeente Rossum en in gebruik als gemeentehuis. Sindsdien is het in gebruik als kantoor.
Van Randwijck
Jacob van Randwijck, heer van Gameren, Rossum en Heesselt (1578-1641), werd in 1639 heer van Rossum en Heesselt
Frederik Hendrik van Randwijck, heer van Rossum, Heesselt, Beek en Gameren (1625-1697)
Jacob van Randwijck, heer van Rossum, Heesselt, Beek en Gameren (1658-1725)
Frans Steven Karel van Randwijck, heer van Beek, Rossum en Heesselt (1697-1785)
Jhr. Godard Adriaan van Randwijck, heer van Beek en Pollenbering (1735-1821)