Excavacions arqueològiques han mostrat evidències de presència humana a l'àrea de Castelsardo de l'època dels nurags i també prenuràlgica, així com de la dominació romana de Sardenya.
Després de la caiguda de l'Imperi Romà d'Occident, es va fundar el monestir de Nostra Signora di Teregu a la rodalia de l'actual Castelsardo, però la vila actual es va originar al castell que s'hi va construir el 1102 o el 1270, per la família Doria de la República de Gènova. El castell i la població que va créixer al seu voltant va ser la seu dels Doria a l'illa: dugué el nom de Castel Doria o Castelgenovese, fins que el va conquistar la corona d'Aragó el 1448, i fou rebatejat com Castell Aragonès o Castellaragonès. Va ser la darrera població de l'illa en formar part del Regne de Sardenya.
El castellanès d'avui, parlat en una banda entre la ciutat, Tergu, Sedini i Valledoria, prové d'una barreja de Toscà amb substrat sard-logudorès, a conseqüència de les influències de la Ligúria, que es va produir en els períodes del domini de la família Malaspina i es va mantenir en el següent període del domini de la família Doria, i parcialment influït durant el domini ibèric català i espanyol.
Religió
La ciutat és la seu de la Confraria de la Santa Creu que té la seu a l'Església de Santa Maria. La seva història continua ininterrompuda des de la seva fundació (segle xvi), així com la distribució de cançons i tècniques relacionades ininterrompudament. La confraria, tot i que formada per laics, és de caràcter religiós i depèn directament del bisbe, que té la facultat de legitimar el prior (que s'escull cada any) així com de dissoldre la pròpia confraria. Això és degut al fet que, havent estat l'únic centre d'agregació i afirmació social durant llargs períodes, ha contribuït molt sovint a la formació de grups de poder dins del país i la diòcesi, de vegades en un contrast obert amb el mateix bisbe.