Tultuaan Kanadan kenraalikuvernööriksi vuonna 1847 Elgin sai tehtäväkseen toteuttaa maassa itsehallinnon sekä parlamentaarisen ”vastuullisen hallituksen”, joita hänen appensa lordi Durham oli suositellut vuonna 1839 laatimassaan kuuluisassa raportissa. Elgin tuki vuonna 1849 Kanadan uuden hallituksen esittämää Rebellion Losses Act -lakia, jonka mukaan kansalaisille korvattaisiin kaikki vuoden 1837 kapinan aiheuttamat taloudelliset menetykset. Kiistelty laki nostatti voimakkaan toryjen vastarinnan Kanadassa ja johti 25. huhtikuuta 1849 levottomuuksiin, joiden yhteydessä väkijoukko kivitti Elginiä ja Montrealin parlamenttitalo sytytettiin tuleen. Elgin onnistui kuitenkin kuvernöörikaudellaan säilyttämään hyvän yhteistyösuhteen Kanadan hallitusten kanssa ja neuvotteli vuonna 1854 Yhdysvaltain ja Kanadan provinssin välisen vastavuoroisuussopimuksen.[1][2] Hän myös kehitti Kanadan koululaitosta ja lakkautti seigneurial-maanomistusjärjestelmän. Hän sai vuonna 1849 Elginin paronin arvon ja paikan valtakunnanneuvostossa (privy council).[1]
Elgin toimi vuosina 1857–1859 ja 1860–1861 Britannian erikoislähettiläänä Kiinassa järjestelemässä maiden välisen sodan päättämistä. Ollessaan ensimmäisellä kerralla matkalla Kiinaan Intian kautta hän lainasi sotilassaattueensa kenraalikuvernööri Charles Canningin käyttöön sepoy-kapinan kukistamisessa. Kun neuvottelut Kiinan kanssa takkuilivat, Elgin pakkotti sotilaallisella painostuksella Kiinan allekirjoittamaan briteille edullisen Tianjinin rauhansopimuksen. Hän vieraili vuonna 1858 myös Japanissa ja neuvotteli kauppasopimuksen, joka avasi Japanin satamat eurooppalaisille kauppalaivoille. Kaukoidän komennustensa välillä Elgin toimi vuosina 1859–1860 postiministerinä lordi Palmerstonin hallituksessa. Kiinan kieltäydyttyä ratifioimasta Tianjinin rauhansopimusta sota puhkesi uudestaan vuonna 1860. Elgin lähetettiin takaisin Kiinaan, ja hän pääsi ranskalaisten joukkojen avulla Pekingiin, jolloin Kiinan hallituksen oli ratifioitavaPekingin rauhansopimus ja tunnustettava ulkovaltojen edustus pääkaupungissaan. Elginin alaiset joukot ryöstivät Pekingin Kesäpalatsin.[2][1]
Elgin nimitettiin keväällä 1862 Canningin seuraajana Intian varakuninkaaksi. Tarmokkaasta alusta huolimatta hänen voimansa ehtyivät pian ja hän kuoli seuraavana vuonna. Hänen poikansa Victor Elgin toimi samassa virassa vuosina 1894–1899.[2]
