Le domaine des seigneurs de Loersfeld est mentionné pour la première fois en 1262, indiquant que le manoir de Loersfeld appartient au seigneur Eberhard de Belle et à son épouse Hildegunde. Il est aux mains de la famille de Merode au XIVe siècle, puis par héritage à la famille von Horn. Heinrich Spies von Büllesheim, originaire de Bodendorf, acquiert le domaine en 1435 et reste dans la famille pendant cent quarante ans. C'est à cette époque que le château actuel est construit par les représentants de cette famille, issue de la noblesse immémoriale du duché de Juliers. Il passe ensuite à la fin du XVIe siècle à la famille von Eynatten et il est vendu en 1665 à Dietrich von Leers.
Caspar Wilhelm von Hamm, originaire de Cologne, en devient le propriétaire en 1775. Sa fille Anne-Catherine en hérite à sa mort, puis le mari de celle-ci qui le vend en 1819 avec toutes ses terres et constructions à la famille propriétaire actuelle. Le baron Friedrich Leopold von Fürstenberg le lègue ensuite à son sixième fils, le baron Franz Adolf Joseph (né en 1805), qui fut le premier Fürstenberg à en faire sa résidence principale.
Le château subit quelques transformations entre 1840 et 1865 et son jardin à la française laisse la place à un parc à l'anglaise de dix hectares. Le baron, qui était seigneur de la chambre royale et intendant du château de Benrath, meurt le . Son neveu Friedrich Leopold II[1] en hérite. Son fils Clemens, né au château de Borbeck, en hérite en 1901 et en fait sa résidence principale. Son fils Clemens August en hérite en 1938.
Le propriétaire actuel est le baron Maximilan von Fürstenberg-Hugenpoet qui a ouvert un restaurant dans un des bâtiments.
