Osnovan je 19. septembra 1921. Željezničar je jedan od najpoznatijih i najtrofejniji nogometni klub iz Bosne i Hercegovine sa šest osvojenih trofeja nacionalnog prvenstava, šest titula nacionalnog kupa, kao i tri titule superkupa. U sezoni 1971/1972. osvojio je prvu ligu Jugoslavije. Godine 1981. igrao je finale kupa Jugoslavije. Najveći uspjeh u evropskim takmičenjima ostvaruje u sezoni 1984/1985. kada je igrao polufinale Kupa UEFA.
Željezničar su osnovali radnici Željezničke radionice na inicijativu Dimitrija Dimitrijevića 15. septembra 1921. Zajedno sa Ludvigom Lepleom, Stjepanom Katalinićem i ostalim radnicima iz Željezničke radionice skupljaju novac za kupovinu lopte i dresova na kojima su bila kao grb izvezena krila lokomotive sa loptom, a zatim i za registraciju kluba kod Sarajevskog podsaveza. Kao tada jedini radnički klub među ostalim, nacionalno orjentisanim, klubovima Željezničar se susreo sa mnogim teškoćama.
Prva utakmica odigrana je sa SAŠK-om 17. septembra u 16 sati. Na igralištu je prisustvovalo 500 gledalaca, a SAŠK je bio bolji, pobjedivši sa 5-1. Nakon poraza Željezničar je sljedećeg dana odigrao drugu prijateljsku utakmicu sa Sarajevskim Sportskim Klubom i zabilježio prvu pobjedu od 2-1.
“
SAŠK KONTRA ŽELJEZNIČARA U subotu 17. o. mj. u 4 sata poslije podne odigraće SAŠK prvu javnu utakmicu nakon svog povratka sa turneje. Interes za ovu utakmicu je osobit pošto ćemo imati priliku da vidimo novih trikova koje je SAŠK na svojoj turneji pripremio. Igra će prema tome biti vrlo zanimljiva, igra se na Kovačićima. Cijena uobičajena.
”
Večernja pošta 16. septembar 1921.
Takmičenje u okviru Sarajevskog podsaveza
Prvu takmičarsku sezonu Željezničar je igrao u drugom razredu sarajevskog podsaveza, gdje su još nastupali: Troja, Šparta, Barakohba. Ekipu je vodio Silvio Alkalaj. Prvu utakmicu Željezničar je igrao 2. novembra 1921. protiv Troje. Rezultat je bio 1-1. Prvu pobjedu u službenim utakmicama "plavi" su zabilježili u proljetnom dijelu prve sezone protiv Barakohbe. Rezultat je bio uvjerljiv 7-0. Napokon u sezoni 1925-1926 Željezničar uspjeva ući u Prvi razred Sarajevskog podsaveza. Nadmoćno, sa 4 pobjede nad konkurentima i gol razlikom 18 – 4 Željo se konačno dokopao dugo željenog cilja. Sezonu prije ostvarena je i rekordna pobjeda u dosadašnjoj historiji Željezničara 18-0. Ova pobjeda ostvarena je u sezoni 1924-25 nad ekipom Barkohoba, u drugom razredu Sarajevskog podsaveza.
Prvi stadion na kojem je Željezničar igrao svoje utakmice je bilo vojno vježbalište na Čengić Vili - Egzercir. Egzercir je korišten jer Željo kao radnički "Željezničarski sportski klub" nije imao novca za iznamljivanje nekog od gradskih terena kojima su gazdovali SAŠK, Hajduk i Slavija.
Većinu svog ligaškog staža Željezničar je proveo u Sarajevskoj ligi, dok je takmičenje u prvoj ligi Jugoslavije bilo rezervisano za tada bolji SAŠK.
Oduzimanje najboljih igrača
Početkom Drugog svjetskog rata zaustavlja se rad kluba. Nakon završetka rata klub se obnavlja i nastupa u prvoj ligi Bosne i Hercegovine koju osvaja, te tako ostvaruje plasman u prvu ligu Jugoslavije, u njenoj premijernoj sezoni 1946-47. Međutim nakon što je gradska vlast formirala novi klub Torpedo (kasnije Sarajevo) koji je trebao predstavljati najbolje iz BiH, većina igrača Željezničara dobija naređenje da pređe u novi klub. Odlukom političkih vrhova Željezničar je novoformiranom klubu Torpedo morao ustupiti svoje najbolje igrače: Lovrića (kapiten), Alajbegovića, Konjevoda, Lazarevića, Rajlića, Golca i Šilića. Jedini igrač koji je uspio odoliti svim ucjenama je Joško Domorocki.[3] Takav slijed događaja bio je poguban po Željezničar koji ispada iz prve lige, a period konsolidacije trajao je do sezone 1953/54 kada se plavi ponovo vraćaju u prvu ligu Jugoslavije.
Prva titula
Bile su to najslavnije godine tima sa Grbavice. Željezničar je u sezoni 1971-72. osvojio šampionsku krunu nekadašnje Jugoslavije. Bila je to godina u kojoj su izabranici Milana Ribara vodili mrtvu trku sa beogradskom Crvenom zvezdom. Na kraju su "plavi" sakupili 59, a beograđani 49 bodova. Željo je doživio samo četiri poraza, dok su 9 puta igrali neriješeno. Pobjedilo se čak u 21 utakmici. Impozantntna gol razlika govori sama po sebi o snazi tadašnjeg Želje. Postignuto je 55 pogodaka, što je bilo dovoljno za treće mjesto rang-liste najefikasnijih ekipa, a da je odbrana odigrala veliku ulogu govori podatak da je primljeno samo 20 golova (najmanje u ligi). Postignuta je i velika pobjeda protiv slovenskog Maribora od 8:0. Gradski derbi u dva susreta zavrsen je egalom. Na Grbavici je bio bolji Željezničar rezultatom 2:1, a u uzvratu na Koševu protivnik je bio bolji identičnim ishodom. Kao sto je spomenuto stručni štab je predvodio Milan Ribar, a na klupi su još sjedili Sulejman Kulović i Fadil Požegija. Najbolji strijelac Želje u ovoj sezoni bio je legenda sa Grbavice, Josip Bukal sa postignutih 14 pogodaka, a Božo Janković dao je 13, dok je Josip Katalinski 12 puta pogađao mreže protivničkih golmana. Slobodan Janjuš, golman "plavih" je u toj godini postao rekorder po do tada najmanjem broju primljenih golova u svim odigranim šampionatima, svega 20. Šampionsku generaciju činili su: Slobodan Janjuš, Dragan Kojović, Velija Bećirspahić, Blagoje Bratić, Josip Katalinski, Enver Hadžiabdić, Branislav Jelušić, Božo Janković, Josip Bukal, Edin Sprečo, Avdija Deraković, Slobodan Kojović, Fahrija Hrvat, Džemaludin Serbo, Nusret Kadrić, Hajrudin Saračević, Miloš Radović i Željko Rodić.
Period poslije rata u BiH
Tokom rata u Bosni i Hercegovini i opsade Sarajeva, stadion Željezničara našao se na srpskoj strani, a zapadna tribina bila je u potpunosti spaljena.[4][5] Entuzijasti i pobornici plavog tima održavali su treninge u školskim salama, samo kako klub ne bi izgubio kontinuitet. Nakon rata 2. maja 1996. održana je prva poslijeratna utakmica na Grbavici, i to između FK Željezničar i FK Sarajevo, nakon što je stadion očišćen od strane pionira FK Željezničar.[6] Utakmica je završena rezultatom 1:1.[7]
5. juna 1998. godine održan je Play-Off za prvaka Bosne i Hercegovine na stadionu Koševo. U 89. minuti Hadis Zubanović je plavima donio prvu titulu prvaka BiH. 5. juni navijači Željezničara slave kao "Zubandan".[8]
U 2001. i 2002. godini Željezničar osvaja dvije uzastopne titule prvaka pod trenerskom palicom Amar Osima. Nakon evropskog poraza od FC Hearts iz Škotske, Amar Osim napušta klupu Željezničara i odlazi u japanski JEF United. Do 2009. godine Željezničar ne postiže uspjehe, a klub se suočava sa strašnim finansijskim problemima. Ipak, nakon promjene Upravnog odbora kluba, na klupu se vraća miljenik navijača Amar Osim[9] i odmah u prvoj sezoni 2009/10. Željezničaru donosi titulu [10]. U sezoni 2010/11. Željezničar se plasirao na 3. poziciju u šampionatu BiH, i osvaja Kup BiH nakon pobjeda od 1:0 na Grbavici[11] i 0:3 na Bilinom Polju protiv FK Čelik Zenica.[12]
Evropski nastupi
Kako u domaćim takmičenjima, Željezničar je imao uspjeha i u evropskim kupovima. Prvo učestvovanje Željezničara nekom od evropskih takmičenja bilo je u sezoni 1971-72. Nakon što je u sezoni osvojio drugo mjesto Željezničar je nastupio u prvoj sezoni novog evropskog takmičenja - kupa UEFA. U prvom kolu je izbačen belgijski Club Brugge ukupnim rezultatom 4-3, a dalje su padali Bologna, škotski St. Johnstone, da bi u četvrtfinalu na penale ispao od mađarskog Ferencvarosa. Najbolji strijelci Željezničara u ovom takmičenju su bili Josip Bukal sa 7 golova i Edin Sprečo sa 5 golova.
Najveći međunarodni uspjeh Željezničar je postigao u sezoni 1984-85. Naime, te sezone "plavi” sa Grbavice pod vodstvom Ivice Osima bili su nadomak finala kupa UEFA. U prvom kolu žrijeb je htio da Željezničar igra sa bugarskim Slivenom Bugari su slavili na svom terenu (1-0), da bi u revanšu u Sarajevu doživjeli debakl, 5-1 za Željezničar. Drugo kolo donosi švicarski Sion. Nakon pobjede na Grbavici od 2-1, u drugom meču Željo je uspio očuvati minimalnu prednost, remizirajući (1-1). U narednoj rundi je igrao protiv FC Universitate. U prvom meču rumunisu bili bolji sa 2-0. Očekivalo se da je ta prednost neuhvatljiva. Međutim, Željezničar je u revanšu pobijedio sa 4-0.
Ulazak među osam je bio veliki uspjeh. Na Grbavici su savladani uvijek neugodni Sovjeti. Dinamo iz Minska je poražen rezultatom 2-0, da bi u revanšu odigrao 1-1. U polufinalu protivnik je bio Videoton, ekipa koja je do tada eliminisala velikane poput Manchester Uniteda, PSG-a i beogradskog Partizan koji je poražen čak sa 5-0. Na prvoj utakmici u Sekesfehervaru Mađari su vodili sa 2:0, da bi tadašnji reprezentativac Haris Škoro postigao gol za smanjenje vodstva. U finišu Videoton povečava prednost. Krajnji ishod ovog meca glasio je 3-1. Prepuna Grbavica dočekala je 24. aprila 1984. godine u veličanstvenoj atmosferi. Golovima Bahtića i Ćurića Željo je bio jednom nogom u finalu elitnog evropskog takmičenja. Igrao se 87 minut. Najteži sportski trenutak u historiji Želje. Prvi prelazak preko centra Mađari su iskoristili na pravi nacin. Dovoljno je reci Cuhaji. Boje Željezničara u Evropi branili su: Škrba, Berjan, Baljić, Šabanadžović, Čapljić, Komšić, Čilić, Bahtić, Škoro, Mihajlović, Baždarević, Nikić, Samardžija.
Željezničar je igrao i u Kupu evropskih šampiona, i to nakon osvojene titule 1972 godine. U sezoni 1972-73 Željo je igrao protiv engleskog tima Derby County i izgubio obje utakmice, u gostima 0-2, dok je na Koševu gdje je igran revanš bilo 1-2.
Nakon uspostavljanja Premijer lige BiH Željezničar je stalni učesnik evropskih takmičenja. U prethodnim godinama Željezničar se sastajao sa škotskim Kilmarnockom (d: 1-1, g: 0-1), poljskom Wislom (d: 0-0, g: 1-3), bugarskim Levskim (d: 0-0, g: 0-4), kiparskim Anorthosisom (d: 1-0, g: 3-1), škotskim Heartsom (d: 0-0, g: 0-2) i bugarskim Liteksom (d: 1-2, g: 0-7).
Najveći poslijeratni uspjeh je postignut u sezoni 2002-03. kada je Željezničar došao do 3. pretkola Lige Prvaka. Najprije je pobjeđen Akraness ukupnim rezultatom 4-0. Nakon toga Željo je u 2 utakmice bio bolji od norveškog predstavnika Lilestroma da bi na kraju pred 40.000 gledalaca na stadionu Koševo ugostio engleski Newcastle. Nažalost nije bilo snage za nešto više pa je Željo ispao ukupnim rezultatom 5-0. Nakon ispadanja iz Lige Prvaka Željo nastavlja takmičenje u Kupu UEFA, ali nesretno ispada od španske Malage ukupnim rezultatom 0-1.
Iako je u sezoni 2004-05. izborio učestvovanje u Kupu UEFA zbog nedobijanja Uefine licence Željezničaru je uskraćen izlazak u Evropu.
Nakon osvajanja titule 2010. godine Željezničar je igrao u 2. pretkolu Lige Prvaka protiv Hapoela iz Tel Aviva. Na Bloomfield Stadionu u Tel Avivu poražen je sa 5-0[13], dok je na Koševu bilo 0-1 [14].
Osvajanje Kupa BiH 2011. godine i treća pozicija u prvenstvu osigurala je Željezničaru nastup u drugom pretkolu Evropske lige. Željezničar je eliminisao Sheriff iz Tiraspola ukupnim rezultatom 1-0.[15]. U trećem pretkolu Željezničar je poražen u prvoj utakmici od Maccabi Tel Aviv rezultatom 0-2[16].
Željezničar od 1953. godine svoje domaće utakmice igra na stadionu Grbavica u istoimenom sarajevskom naselju. Stadion je od 1953 godine pretrpio tri veća renoviranja. Prvo od 1968. do 1976 kada je napravljena sjeverna tribina, zatim je obnovljen nakon reintegracije Grbavice kada je ponovo izgrađena drvena tribina na zapadnoj strani i pred sezonu 2004/05 kada su na sjevernu i južnu tribinu postavljene stolice čime je kapacitet stadiona smanjen na 12 000 mjesta. Stadion ne ispunjava kriterije UEFA, te zbog toga Željezničar svoje utakmice igra na stadionu Koševo. Nakon konstrukcije istočne tribine u aprilu 2017. godine, trenutni kapacitet stadiona je 13.146 sjedećih mjesta.
Navijači
Željezničar je i u Jugoslaviji bio prepoznatljiv kao ekipa koja je imala veliku podršku navijača. U šampionskoj sezoni 1971/72. Željezničar je titulu ovjerio na stadionu JNA pred velikim brojem svojih navijača. Navijači Željezničara, koji su se uvijek nalazili na južnoj strani stadiona Grbavica, svoj novi svijetli trenutak imaju u Beogradu 1981, ovaj put na Marakani u finalu Kupa SFRJ. Preko 60.000 navijača Veleža i Željezničara ispunilo je Beogradski stadion.
U drugoj polovini 80-ih dolazi do organizacije navijača Željezničara koji se nazivaju "The Maniacs", ili Manijaci. Stvaraju se i podgrupe "Blue Tigers" i "Joint Union". Najznačajniji vođa navijača Željezničara bio je Dževad Begić-Đilda, heroj odbrane Sarajeva, koji je poginuo 11. jula 1992. godine. Manijaci, kao i drugi građani Sarajeva, 11. jula svake godine posjete i polože cvijeće ispred spomen-ploče Dževadu Begiću.[19] U spomen Đildi i njegovom bratu Izetu, u Sarajevu jedna ulica nosi ime "Braće Begić".
Također, održava se i malonogometni turnir između Manijaka što je još jedan način da se oda počast heroju Sarajeva.[20]
Napomena: Zastave pokazuju reprezentaciju kao što je definisano pravilima podobnosti FIFA-e. Igrači mogu imati više od jednog ne-FIFA-inog državljanstva.