Karl Gölsdorf nacque a Vienna da Louis Adolf Gölsdorf. Ancora studente venne introdotto agli studi progettuali delle locomotive dal padre, che era ingegnere capo (Maschinendirektor) delle k.u.k. Südbahn. Tra 1880 e 1884 frequentò la facoltà di Tecnologia dell'Università di Vienna conseguendo una brillante qualificazione. Nel 1885 entrò a far parte della "Wiener Maschinenfabrik" come progettista. Nel 1889 diventò capo dello staff che dirigeva la costruzione di locomotive. Il 1º novembre 1891 entrò, come "ingegnere aggiunto" nell'ufficio progetti delle ferrovie statali austriache.
Nel 1893 inventò un sistema per risolvere il problema della difficoltà d'avviamento delle locomotive compound quando in posizione di immissione si trovava il cilindro a bassa pressione.
La notorietà di Gölsdorf si accrebbe in seguito all'introduzione dello scorrimento radiale degli assi accoppiati delle locomotive a vapore per favorirne l'inscrizione nelle curve. La prima applicazione del suo sistema fu su un gruppo di otto locomotive del gruppo kkStB 170. Le successive applicazioni del suo progetto nelle kkStB 180, il cui primo, terzo e quinto asse vennero messi in grado di traslare lateralmente nel telaio, dimostrarono che, in molti casi, era inutile costruire complicate locomotive articolate in grado di adattarsi alle sinuosità delle linee. Da allora in poi tale tecnica di costruzione divenne lo standard per le locomotive merci pesanti austriache.
Karl Gölsdorf usò sempre le migliori e più innovative tecnologie del suo tempo. La sua "310", sviluppata nel 1911, a tre assi accoppiati e a 4 cilindri compound, a vapore surriscaldato, fu una delle più eleganti dei suoi tempi.
Nel 1910 venne insignito del titolo di "dottore in ingegneria" dall'Università di Hannover.
Nel 1913 fu nominato caporeparto. Fu membro attivo in molti organismi ferroviari e coeditore della rivista "Eisenbahntechnik der Gegenwart" (La tecnologia ferroviaria attuale).
Hans Steffan: Dr. Ing. h.c. Karl Gölsdorf †, Die Lokomotive, April 1916, S. 69 ff., Vienna 1916 [1]
Richard Spiro: Die Gölsdorf-Sammlung im Deutschen Museum in München, Die Lokomotive, Dezember 1926, S. 227–229, Vienna 1926 [2]
Verzeichnis der Lokomotiven, Tender, Wasserwagen und Triebwagen der k. k. österreichischen Staatsbahnen und der vom Staate betriebenen Privatbahnen nach dem Stande vom 30. Juni 1917, 14. Auflage, Editrice delle k. k. österreichischen Staatsbahnen, Vienna, 1918
Karl Gölsdorf: Lokomotivbau in Alt-Österreich 1837–1918, Editrice Slezak, 1978. ISBN 3-900134-40-5