Gresham föddes nära Lanesville, Indiana. Han inledde sin karriär som advokat 1854 och två år senare deltog han i republikanernas allra första presidentkampanj. Han gifte sig 1858 med Matilda McGrain. 1860 blev han invald i Indiana House of Representatives, underhuset av delstatens lagstiftande församling.
Efter en lång karriär som republikan (han var en av kandidaterna när republikanernas partimöten utsåg 1884 och 1888 års presidentkandidater) förlorade han tilltron i partiets ledare och politik. Han stödde Grover Cleveland i 1892 års presidentval och tjänstgjorde 1893–1895 som Clevelands utrikesminister. Han avled i ämbetet. Greshams grav finns på Arlingtonkyrkogården.