Die Eisenbahngesellschaft wurde 1832 als New York and Erie Rail Road gegründet und sollte New York City mit dem Eriesee verbinden, wozu eine Verbindung zwischen Piermont und Dunkirk entlang der Südgrenze des Bundesstaates New York geplant war. Die Bauarbeiten starteten 1836. In den folgenden 15 Jahren wurden einzelne Teilabschnitte in Betrieb genommen, die sich schließlich 1851 zu der Gesamtstrecke aufsummierten. Die Erweiterung nach Jersey City erfolgte ein Jahr später durch die Übernahme der Paterson and Hudson River Railroad.
Die Strecke wurde zuerst in Breitspur von 1829 mm (6 Fuß) gebaut und erhielt später bis 1878 eine dritte Schiene, um sie für die anderen, regelspurigen Bahnen benutzbar zu machen. Bis 1885 wurde die Strecke auf Regelspur von 1435 mm umgebaut. Bedeutende Brücken auf den Strecken der Eisenbahngesellschaft waren das Starrucca Viaduct (1848), die Cascade Bridge (1848), das Portageville Viaduct (1852), die Kinzua Bridge (1882) oder das Moodna Viaduct (1909).
Bereits 1907 elektrifizierte die Erie Railroad ihre Strecken Rochester–Avon und Avon–Mount Morris. Weitere Verbindungen wurden jedoch nicht auf elektrischen Betrieb umgestellt.