Varberg Vesting werd gebouwd in 1287-1300 door Graaf Jacob Nielsen als verdediging tegen zijn eigen Deense Koning, die hem tot vrijbuiter had verklaard na de moord op Koning Erik V van Denemarken. Jacob had goede contacten met Erik II van Noorwegen, uit de vriendschap die eruit voortkwam kreeg hij Noorse assistentie bij de bouw van de vesting. De vesting viel, net als de helft van het graafschap Halland, in 1305 aan Noorwegen toe.
Koning Eriks kleindochter Ingeborg van Noorwegen erfde het gebied van haar vader koning Haakon V van Noorwegen. Zij en haar man Erik, hertog van Södermanland, formeerden een klein onafhankelijk graafschap uit hun bezittingen in Noorwegen, Zweden en Denemarken. Dit werd behouden tot de dood van Erik. Ze verbleven regelmatig op het fort. Hun zoon, de latere koning Magnus II van Zweden, kwam ook regelmatig op dit fort.
Op het einde van de 16e eeuw werd het fort ingevorderd door koning Christiaan IV van Denemarken. Echter na het Verdrag van Brömsebro in 1645 kwam het fort weer in het bezit van Zweden. Het werd daarna gebruikt als militaire bezetting tot 1830 en tevens als gevangenis van de 17e eeuw tot 1931. In de huidige hoedanigheid wordt het gebruikt als museum, bed & breakfast en tevens als privé-accommodatie.
In literatuur
Demitz, Jacob Truedson (1996) Throne of a Thousand Yeard (Los Angeles: Ristesson Ent) ISBN 91-630-5030-7
