Először 1861-ben, majd 1865-től 1875-ig három cikluson át volt országgyűlési képviselő (1870-ig Deák-párti, azután pártonkívüli), amikor is figyelmét a politikán kívüli teendőre fordította; a székesfehérvári Országos Kiállítás főszervezője lett, amelyre végül 1879-ben került sor. Legközelebb az 1878-as választásokon indult, ahol ismét megválasztották, onnantól kezdve haláláig országgyűlési képviselő maradt, 1903-ig szabadelvű párti, majd pártonkívüli, végül Függetlenségi és Negyvennyolcas színekben.
1881–1906 között az Országos Iparegyesület elnöke volt. Közreműködésével 86 városban indult meg az alsófokú iparoktatás. Nevéhez fűződik az 1879. évi székesfehérvári országos kiállítás megszervezése.
Családtörténeti kutatásai során élete céljául tűzte ki a magyarok eredetének, őshazájának felkutatását.
Saját költségén több tudományos expedíciót szervezett és vezetett Oroszországba, Ázsiába, a Kaukázusba a magyarság eredetének felkutatására, neves tudósok részvételével.
Harmadik expedíciójának megkezdése előtt, 1895. március 31-én az Országos Casinóban előadást tartott terveiről. Az előadás során beszámolt több évtizedes előkészületeiről, a hazai és az idegen ősmagyarságra vonatkozó dokumentumok tanulmányozásáról. Az orosz birodalom akkori határain belül végzendő kutatásaihoz megszerezte az orosz cár és kormány engedélyét, támogatását. Kapcsolatba lépett az akkori orosz tudósokkal is, kikérve tanácsaikat. Az 1898-as, több hónapos harmadik kutatóútjára, amelynek tervezője, szervezője és egyben mecénása is volt többek között útitársaiul választotta dr. Wosinszky Mórt, dr. Szentkatolnai Bálint Gábort, dr. Szádeczky-Kardoss Lajost, Csiki Ernőt, Csellingerián Jakabot és Déchy Mórt is.
Az expedíció a tudományos közvélemény előtt nem bizonyult egyértelműen sikeresnek. Herman Ottó a Zichy-expedíciót bemutató kötetekről (melyeket az expedíción részt sem vevő Jankó János ill. Posta Béla jegyeztek) szóló recenziójában[2] a vállalkozást megsemmisítő kritikával illette, és noha annak néprajzi vonatkozású gyűjtését hasznosnak tartotta, az expedíció módszereit és eredményeit amatőr munkának ítélte.
1865. június 15-én Berlinben vette el gróf Hermine von Redern (1844-1911), csillagkeresztes hölgy úrnőt,[3] akinek a szülei gróf Heinrich Alexander von Redern (1804–1888) és hercegnő Odescalchi Vittoria (1811–1889) voltak. A házasságukból született:
gróf Zichy Hermine (1866–1938), gróf Franz Folliot de Crenneville (1856-1935) házastársa
gróf Zichy Pauline (1868–1944), férje gróf Hugo von Oberndorff (1846-1927)
gróf Zichy Elisabeth (1871–1950, iglói és zabari Szontagh Jenő (1874–1952) felesége
