La ligne est mise en service le 13 novembre1879 par les Chemins de fer de l'État belge[1]. Elle doit constituer une voie d'accès aux hauteurs ouest de Charleroi, riches en charbonnages et industries.
Le trafic espéré ne se manifeste pas et dès 1914, la ligne est fermé aux voyageurs[réf. nécessaire]. En 1930, les derniers trains la parcourent de bout en bout et les rails sont démantelés en 1934. Une petite section à la sortie de Luttre est conservée jusqu'en 1982 car elle sert d'amorce à la ligne industrielle 249 desservant Courcelles-Fosses.
Peu avant la Seconde Guerre mondiale[2], afin de mettre à quatre voies la ligne 124, le tracé de la ligne 119 est altéré avec la réalisation d'un saut-de-mouton prévu pour deux voies partant de la ligne 120 dont la voie est reposée sur près de 900 m. À cette époque, le canal Charleroi-Bruxelles passe entre les lignes 120 et 124 à cet endroit, ce qui justifiera la construction d'un haut pont métallique sur ce raccordement, à proximité de celui enjambant la ligne 124[3].
L'usage de cette ligne sera à nouveau de courte durée, l’État décidant d’interrompre purement et simplement la ligne 119 entre Luttre et Thiméon pour ne pas avoir à construire un coûteux pont sur la nouvelle section du canal. La section réutilisant les emprises de la ligne 120 est néanmoins restée en service jusqu'en 1982 pour desservir une décharge au niveau de l'ancien canal[2]. Après le déclassement de cette ligne, l'amorce à la sortie de Luttre jusqu'au pont de la rue du Parvis est conservé comme tiroir pour la manœuvre et le garage des trains. Ce vestige de la ligne 120 est électrifié.