Contrairement à la plupart des grandes lignes françaises, cette transversale n'était pas planifiée lors de la conception du réseau français. Elle est la jonction, relativement tardive, de plusieurs lignes d'intérêt souvent purement local au départ. C'est peu avant la guerre franco-prussienne de 1870 que les concessions visant à réaliser un axe continu sont accordées, mais l'annexion retarde la mise en service de la ligne, avec l'obligation de réaliser une nouvelle ligne Longuyon - Pagny-sur-Moselle le long de la frontière. La jonction est achevée vers 1880 mais elle ne voit passer pendant la décennie suivante qu'un trafic essentiellement à courte distance. Entre 1890 et 1905 l'infrastructure est profondément améliorée et la ligne est mise à double voie sur l'ensemble de son parcours. À partir de 1913 elle est ainsi une des lignes les plus importantes du réseau national, accompagnant le développement des bassins industriels du Nord et de la Lorraine[2].
Après les expérimentations sur la ligne Aix-les-Bains - Annemasse, elle a été la première ligne française électrifiée en 25 kV- 50 Hz durant les années 1954-1955[3].