Het fort stond op een niet meer bestaand eiland aan het einde van Chestnut Street in het tegenwoordige New Castle.[1]
In 1638 had Peter Minuit, een eerdere directeur van de Nederlandse kolonie, in naam van de koning van Zweden in het gebied rond de Delaware de kolonie Nieuw-Zweden gesticht.
In 1651 liet hij Fort Casimir bouwen, ten zuiden van het Zweedse Fort Christina, om de positie van Nieuw-Nederland verder te versterken. Eerdere forten van de Nederlanders in Nieuw-Zweden werden verlaten, om plaats te maken voor het tactischer gelegen Fort Casimir.[3]
In 1654 werd het fort kort veroverd door de Zweden, die het Fort Trefaltighet noemden.
In 1655 heroverde Peter Stuyvesant volledig Nieuw-Zweden en werd het fort weer Fort Casimir genoemd. Bij het fort werd na de herovering van Nieuw-Zweden de nederzetting Nieuw-Amstel gebouwd, tegenwoordig New Castle.
Vanaf 1664 kwam Nieuw-Nederland, waaronder Fort Casimir, in handen van de Engelsen.
In 1673-1674 veroverden de Nederlanders het opnieuw, maar na de Vrede van Westminster werd het definitief van de Engelsen.