In het midden de westpoort, rechts de barakken en links de zuidpoort
Fort Charlotte werd in 1665, aan het begin van de Tweede Engelse Oorlog, door hofarchitect Robert Mylne in opdracht van Karel II van Engeland gebouwd om de Sound of Bressay te beschermen. In 1667 durfde een Nederlandse vloot het fort niet te bestormen omdat het zwaarder bemand leek dat het eigenlijk was. Op het eind van de oorlog werd het fort verwaarloosd en werd er geen garnizoen meer geplaatst. In 1673, tijdens de Derde Engelse Oorlog, namen de Nederlanders het onbemande fort in en staken het in brand.
Tijdens de Amerikaanse Onafhankelijkheidsoorlog werd de Sound of Bressay een ontmoetingsplaats voor walvisvaarders naar Groenland en om ze beschermen tegen Franse piraten werd Fort Charlotte in 1781 herbouwd en kreeg het haar naam, genoemd naar de vrouw van George III van Engeland. Het garnizoen bestond uit 270 soldaten van het Earl of Sutherland's Regiment. Het fort is sindsdien niet meer aangevallen. In de periode 1837-1875 werd het fort gebruikt als stadsgevangenis en stadhuis, later als douanekantoor en als basis voor de kustbewaking. Tussen 1881 en 1910 was het fort een trainingsbasis voor de Royal Naval Reserve in Shetland. In 1855 werden de originele kanonnen verwijderd.
Bouw
De zuidpoort
Fort Charlotte is een vijfhoekig artilleriefort met bastions op elke hoek. Aan de kustzijde bevindt zich een batterij van negen kanonnen. Het westelijk bastion was met vijf kanonnen het zwaarst bewapende bastion. Het gebruik van een geometrisch ontwerp voor een fort werd geïntroduceerd door Oliver Cromwell en bereikte zijn hoogtepunt halverwege de achttiende eeuw met de bouw van Fort George.
Het fort had drie poorten met de hoofdpoort gelegen tussen het westelijke en het zuidwestelijke bastion. Rondom de paradeplaats in het fort werden aan drie zijden barakken gebouwd. De keuken bevond zich in het noordelijk deel en in het zuidelijk deel waren de wachtkamers en artilleriemagazijnen. Op het noordoostelijke bastion bevond zich het kruitmagazijn.
