La tradición recoge dos hechos que determinaron la construcción del templo. El primero de ellos se produjo en 1582, cuando Juan Pérez Mondragón, rector de la parroquia de Cruces, estuvo a punto de morir aplastado por un árbol. Después de librarse, en señal de agradecimiento a la Virgen María, mandó esculpir una imagen de la Virgen con el niño, que fue situada sobre una fuente que había en el lugar, conocida desde entonces como la Fuente Santa.
El segundo de los hechos tuvo lugar en 1732, cuando un hombre de la comarca de Salnés que padecía hidropesía se dirigía junto con su mujer y su hija hacia el hospital de Santiago de Compostela. A su paso por la Fuente Santa, bebió su agua y le pidió ayuda a la Virgen, curándose tres días después. La leyenda dice que exclamó su agradecimiento a la Virgen por curarlo "de la esclavitud" de su mal, de donde derivaría el nombre del santuario. En señal de gratitud, donó el carro y los bueyes. Al difundirse la noticia, la fuente comenzó a atraer devotos en busca de curación, lo que trajo consigo también un aumento de las donaciones.
Con estas aportaciones se construyó una capilla donde se albergó la imagen, llamada ya Nuestra Señora de la Esclavitud, y con el paso del tiempo se amplió hasta la actual iglesia. El documento notarial de la pintura del retablo mayor fecha la finalización de las obras en 1743. En 1885, gracias a la financiación de un gallego enriquecido en América, se construyó una segunda torre simétrica a la que ya tenía el templo desde 1743, siendo ese el aspecto del edificio hasta la actualidad.