Leta 1979 je Schmit svojo politično in diplomatsko kariero začel kot ataše v kabinetu predsednika vlade v Luksemburgu, nato pa na zunanjem ministrstvu. Leta 1989 je postal sekretar delegacije stranke LSAP v Poslanski zbornici. V državni svet je bil imenovan 29. oktobra 1991 in zamenjal Renéja Grégoriusa.[2]
Leta 2004 je bil Schmit imenovan v prvo vlado Juncker-Asselborn kot minister-delegat za zunanje zadeve in priseljevanje, pod vodstvom ministra za zunanje zadeveJeana Asselborna.
Januarja 2011 je Xavier Bettel trdil, da je Schmit neupravičeno vplival na Policijo velikega vojvodstva, da je mesec pred tem umaknila obtožbe proti njegovemu 18-letnemu sinu. Schmit je zanikal, da bi njegova pomoč njegovemu sinu pomenila neupravičen vpliv in da je njegova vest čista.[5]