Het dorp is ontstaan rond het voormalige mottekasteelBaarsdorp, waarvan tegenwoordig slechts de kasteelberg rest. Het kasteel van Baarsdorp is in de 18de eeuw afgebroken. Het gotische kerkje dat naast het kasteel gelegen was, is afgebroken in 1880. Sindsdien is Baarsdorp een gehucht.
Baarsdorp was eeuwenlang onderdeel van de ambachtsheerlijkheid Sinoutskerke en Baarsdorp. Enkele oude rechten die aan de heerlijkheid zijn verbonden, zijn tot in de 21e behouden gebleven en tot immaterrieel erfgoed verklaard.[2]
