Vanaf 1636 vestigden Engelse kolonisten uit de Massachusetts Bay Colony zich aan de noordkant van het Nederlandse fort. De Engelse kolonisten noemden de vestiging in het begin Newtowne, maar in 1637 veranderden ze de naam in Hartford naar de Engelse stad Hertford. De Nederlanders ondernamen geen stappen om de Engelse toestroom te stoppen. Het Fort de Goede Hoop bleef een buitenpost en kwam steeds meer onder de Engelse invloedssfeer. Gouverneur van Nieuw-Nederland Peter Stuyvesant onderhandelde in 1650 met Engelse afgezanten over een permanente grens tussen de Nederlandse en Engelse koloniën, en zij kwamen overeen dat de grens zo'n 80 kilometer westwaarts van Fort de Goede Hoop en de Versche Rivier zou komen te liggen. Hiermee vertrokken de Nederlanders definitief uit Connecticut. De buurt van Hartford waar dit fort stond, is nog steeds bekend als Dutch Point.