14 Şubat 1990 tarihinde Almanya'nın başkenti Berlin'de Gurbetçi bir ailenin çocuğu olarak dünyaya gelen Sefa Yılmaz burada yoğunlukla Türklerin yaşadığı Kreuzberg'de yetişir. Trabzon'lu Anne ve Giresunlu bir Baba'nın oğlu olan Sefa, futbola mahalle arasında ağabeyi ile oynayarak başladı. Kreuzberg semtinin altyapısıyla tanınan Eintracht Südring Berlin'de futbola başladı. Burada kabiliyetini göstermeye başlamasıyla beraber üst kademe takımlarının dikkatini çekti. Ailesinin işleri nedeniyle Schöneberg bölgesine taşınmasıyla, Südring Berlin takımından ayrılan Sefa Yılmaz, Berlin ekibi 1. FC Schöneberg altyapısına transfer oldu. Burada oynadıktan kısa bir süre sonra Kevin Prince Boateng, Jerome Boateng ve Ben Hatira gibi isimleri yetiştiren Tennis Borussia Berlin kulübünün dikkatini çeken Sefa Yılmaz, bu takıma transfer oldu ve 2006 yılına kadar bu takımda forma giydi.
VfL Wolfsburg
2006 yılına kadar ortaya koyduğu performans beğenilince VfL Wolfsburg ve Bayern Münih takımı scoutlarına önerilen Sefa Yılmaz, 2006 yılında yetiştirme bedeli karşılığında VfL Wolfsburg altyapısına transfer oldu. Sefa neden Bayern Münih'i tercih etmediği konusundaki sorulara ise "Başarılı bir performans ortaya koyunca Wolfsburg ve Bayern Münih’ten teklif geldi. Münih’le Berlin arası yaklaşık 600 kilometre. Yaşım küçük olduğu için ailemin yanından çok uzaklaşmak istemedim. Bu nedenle Berlin’e trenle sadece 1 saat uzaklıkta olan Wolfsburg’u tercih ettim." ifadelerinde bulunmuştur.[1] 2006-07 sezonunda U-19 takımında görev yapan Sefa, Peter Hyballa'nın takımında 4 maça çıktı. 2007-08 sezonunda da Christian Benbennek'in takımının değişilmezi olan Sefa, normal sezonda 26 maça çıktı, ilk golünü Ertfurt takımına 5. hafta atan oyuncu, toplamda ise 7 gol atıp 1 asist yaptı. Takımı ile finallere kalma hakkı kazanan Yılmaz, takımıyla finale çıksa da finalde kadrosunda Ömer Toprak'ı da bulunduran Freiburg U-19 takımına 2-0 mağlup oldu. Sefa aynı zamanda o sezon 2 tane de Wolfsburg II takımı maçına çıktı.
2008-09
2008-09 sezonunda da U-19 takımıyla başlayan Yılmaz, 13 maça çıktı ve 5 gol kaydetti. Sezonun ikinci yarısıyla birlikte üstün performansı nedeniyle VfL Wolfsburg II takımına alınan Sefa, ilk maçına 25 Şubat 2009 tarihinde Hertha Berlin'in PAF takımı karşısında çıktı. Lorenz-Günther Köstner'in takımında Alexander Esswein ile dikkat çeken isimlerden biri olan Yılmaz, ilk golünü ise 1 Nisan 2009 tarihinde Plauen takımına attı.[2] O sezon Felix Magath tarafından A takım idmanlarına alınan Sefa, teknik direktörün özel isteğiyle takım kaptanı Marcelinho tarafından özel çalışmalara tabi oldu. A Takım ile idmanlara çıkan Sefa, II. takım ile 16 maçta 4 gol - 4 asist performansıyla oynadı.
2010-11 sezonunda ise A takımın başındaki Felix Magath takımdan ayrıldı ve yerine Steve McClaren getirildi. Karim Ziani, Diego Ribas, Simon Kjær ve Mario Mandžukić gibi isimleri kadrosuna katan takım, aynı zamanda Sefa gibi Türk oyuncu Tuncay Şanlı'yı da transfer etti. Sık sık bu isimlerle hazırlık maçına çıkan Sefa, ortasaha'da birçok ismin olması nedeniyle A Takım kadrosunda yer alamadı.
MSV Duisburg
2010-11 sezonunda ise Wolfsburg'dan ayrılan Sefa, 180.000€ karşılığında 2. Bundesliga'nın köklü ekiplerinden MSV Duisburg'a transfer oldu. MSV Duisburg'da uyum sorunu yaşamadan ilk onbir'de yer bulmayı başaran Sefa, ilk maçına ligin ilk haftasında VfL Osnabrück deplasmanında çıktı. Sefa bu maçta "32" numaralı formasıyla Milan Sasic'in takımında sağ kanat mevkiinde mücadele etti. Kadrosunda Sefa gibi gurbetçi bir isim olan Olcay Şahan ve Burakcan Kunt'u da bulunduran Duisburg'da ilk golünü 8. haftada oynanan DSC Arminia Bielefeld maçında kaydetti. Olcay Şahan ile iki kanatta dikkat çeken Sefa, bir hafta sonra da Karlsruher SC maçında gol attı. Ligde tüm sezon boyunca 31 maça çıkan Sefa, 6 gol atıp 3 asist yaptı. Aynı zamanda o sezon Olcay Şahan ile takıma en çok katkı veren isimlerden biri olan Yılmaz, takımıyla sezon sonu DFB-Pokal olan DFB-Pokal'de final oynamayı başardı. Finalde ise kadrosunda Jefferson Farfan, Raúl González, Julian Draxler ve Klaas Jan Huntelaar'ı bulunduran Schalke 04 ile eşleşen Duisburg, 5-0 gibi farklı bir skorla mağlup oldu. Sefa o sezon kupada ise 6 maça çıkıp 1 asist yaptı.
Kayserispor
2010-11 sezonunda gösterdiği performans ile 2011-12 transfer dönemi öncesinde birçok Süper Lig ve Bundesliga ekibinin dikkatini çeken Sefa Yılmaz, 570.000 € bonservis karşılığında Kayserispor'a transfer oldu. 10 Haziran 2011'de ise Kayserispor ile 4 yıllık sözleşme imzaladı.[3]2011-12
2011-12 transfer döneminde Okay Yokuşlu, Nadir Çiftçi, Cem Sultan, Berkay Dabanlı ve Diego Biseswar gibi potansiyelli isimleri kadrosuna katan ve Shota Arveladze'nin çalıştırdığı Kayserispor'da ilk maçına ligin ilk haftasında Bursaspor karşısında çıkan Sefa, 57 dakika sahada kaldı. 3. haftada oynanan Gaziantepspor maçında korner'den Cristian Riveros, serbest vuruştan ise Zurab Khizanishvili'ye asist yapan Sefa Yılmaz, bu performansıyla dikkat çekti. İlk golünü ise 17. hafta oynanan MKE Ankaragücü maçında atan Yılmaz, sezon boyunca 30 lig maçında 2 gol atıp 8 asist yaptı ve 2 Türkiye Kupası maçına çıktı.
2012-13
2012-13 sezonu başında Beşiktaş ve Fenerbahçe'den teklif alan Sefa, Kayserispor takımında kaldı. İlk maçına ilk haftada Bursaspor karşısında çıkan Yılmaz, 2-3 ve 4 ve 5. haftalarda sakatlığı nedeniyle kadroya alınmadı. 6. hafta sahalara dönen Sefa, ilk golünü 19. haftada Kardemir Karabükspor'a attı. Daha sonra arka arkaya Elazığspor ve Gaziantepspor maçlarında da gol atan Yılmaz, aynı zamanda gol attığı Elazığ maçında 1 tanede asist yaparak yıldızlaştı. 14. haftada oynanan Fenerbahçe maçında Bobô'ya bir de asist yaptı. Devre arasında da Fenerbahçe'den ve Beşiktaş'tan teklif alan oyuncu kulübünün yüksek bonservis bedeli talep etmesi nedeniyle kulübünde kaldı. 19. haftada Antalyaspor maçında gol atan Yılmaz, 22. haftada oynadığı Eskişehirspor maçında 2 gol atarak tüm dikkatleri üzerine çekti. Tüm sezon boyunca 27 maça çıktı, 7 gol attı ve 6 asist yaptı.
2013-14
2013-14 sezonu öncesinde Beşiktaş'tan ve özellikle Fenerbahçe'den ciddi teklif alan Kayserispor, Sefa'nın bonservisini 7 Milyon Euro olarak belirleyince transfer gerçekleşmedi.[4] O sezon ilk maçına Robert Prosinecki yönetiminde Sivasspor maçında çıkan Sefa 1 tanede gol attı. Pablo Mouche ile kanatlarda görev alan Sefa, zaman zaman sağbek mevkiinde de görev yaptı. 18 ve 26. haftalar arasında ayağındaki kırık nedeniyle forma giyemeyen Sefa, sezon boyunca 23 maçta 4 gol attı ve 2 tanede asist yaptı. Takımı ise sezon sonu küme düştü.
Trabzonspor
2014-15 transfer dönemi öncesinde takımının küme düşmesiyle Süper Lig ekiplerinin dikkatini çeken Sefa'yı Slaven Bilic'in sağbek mevkiinde düşündüğü ifade edildi.[5] Daha sonra Kayserispor yüksek bonservis talep edince transfer gerçekleşmedi. Ağustos 2014'te ise Sefa Yılmaz 3.5 Milyon Euro ve Anıl Taşdemir'in bonservisi karşılığında İshak Doğan, Kevin Constant ve Óscar Cardozo gibi flaş transferler yapan Vahid Halilhodžić'in takımı Trabzonspor'a transfer oldu.[6][7][8] 11 Ağustos 2014 günü ise Sefa Yılmaz ile 4 yıllık sözleşme imzalandığı KAP'a bildirildi. Yapılan açıklamada oyuncuya sırasıyla; 2.88, 3.456, 3.774 ve 4.032.000 TL garanti ücret ve 28.800 TL maç başı ücret verileceğini açıkladı.[9] Oyuncu ilk maçına ise 11 Ağustos 2014 günü yapılan hazırlık maçında "9" numaralı formasıyla çıktı. Nisan 2016'da kulüp ile anlaşmazlığa düşen futbolcu sezon sonuna kadar kadro dışı bırakıldı.[10]
Alanyaspor
Trabzonspor'da 2015-16 sezonunun büyük bölümünde kadro dışı kalan ve 2016/17 sezonu içinde kulübünde oynaması düşünülmeyen futbolcu, 22 Ağustos 2016'da Süperlig'in yeni ekiplerinden Alanyaspor'a bedelsiz olarak 1 yıllık kiralık sözleşme imzaladı.[11][12]
Millî takım kariyeri
12 kez millî takımlara çağrılan Sefa Yılmaz, 7 kez Türkiye U-18, 3 kez Türkiye U-19 ve 1 kez de Türkiye U-21 forması olmak üzere toplam 11 kez millî formayı giymiştir ve müsabakalarda 1 gol kaydetmiştir.[13]