De oudste vermelding van het kasteel dateert uit 1595, maar het kasteel is waarschijnlijk al in de 13e eeuw of eerder gebouwd. Wolphert van Borsele zou in het begin van de 13e eeuw de eerste heer van Baarsdorp zijn geweest, maar dat is niet erg waarschijnlijk: de eerste leden van de familie Van Borsele doken pas op na zijn dood. Wel hadden de heren Van Baarsdorp – die zich naar de heerlijkheid Baarsdorp hadden genoemd - een familieband met dit geslacht Van Borsele. Deze familieband zorgde ervoor dat ook de heren Van Baarsdorp zich keerden tegen Jan van Avesnes. Dit leidde er echter toe dat in 1301 hun bezittingen verbeurd werden verklaard terwijl Jan zonder Genade het kasteel verwoestte.
Graaf Willem V gaf in 1352 toestemming tot de herbouw van het slot. De familie Van Baarsdorp zou tot in de 16e eeuw op het kasteel blijven wonen, met Jacob van Borsele van Baarsdorp als waarschijnlijk laatste bewoner. De katholieke familie Van Baarsdorp week uit naar de Zuidelijke Nederlanden.
De heerlijkheid en kasteel waren in 1553 in bezit van Maximiliaan van Bourgondië. Hij liet Baarsdorp na aan zijn zus Jaqueline.
Eind 16e eeuw was Baarsdorp geërfd door de broers Marten en Adolf Bouwen van de Waerde en hun zus Anna, weduwe van Willem van der Goes. Anna kocht het aandeel van Marten over nadat hij in 1595 was overleden en ze wist mogelijk ook het aandeel van Adolf te bemachtigen.
Maria van Waarde was in 1632 ambachtsvrouwe van Baarsdorp. Door haar huwelijk met Pieter Campe kwam de heerlijkheid Baarsdorp op zijn naam te staan.
Het kasteel was waarschijnlijk al sinds het midden van de 16e eeuw onbewoond. In 1632 was het een bouwval en het zal rond deze tijd grotendeels zijn afgebroken. In 1832 bleken er nog wel restanten zichtbaar van het slot, maar eind 19e eeuw was alleen de heuvel nog overgebleven.
Bij de aanleg van de snelweg in de jaren 70 van de 20e eeuw zijn opgravingen verricht. Hierbij is de kosterswoning teruggevonden die bij de slotkapel hoorde.
't Huys te Baersdorp, door Jacobus Stellingwerff (18e eeuw)
Beschrijving
Het oudste kasteel was gebouwd op een omgrachte motte en bestond uit een waarschijnlijk houten toren met een palissade. Op de nederhof stond een boerderij, eveneens omgeven door een palissade en een gracht. Naast de motte werd later nog een tweede heuvel opgeworpen, waarvan de functie onduidelijk is.
De kapel die in 1234 was gebouwd, werd later de slotkapel van het kasteel. In 1870 is het kerkje afgebroken. Ook de kosterswoning is verdwenen.
Nadat het kasteel rond 1300 was verwoest, werd het na het midden van de 14e eeuw herbouwd als een waterburcht. Er zijn tekeningen van het kasteel bewaard gebleven, maar deze zijn gemaakt in 18e eeuw, toen het slot al was verdwenen. Bovendien spreken de tekeningen elkaar tegen. Ze worden daarom vooral als fantasie beschouwd.[1]
