Wilder Foster besuchte die öffentlichen Schulen seiner Heimat und kam im Jahr 1837 nach Michigan, wo er ab 1845 in Grand Rapids im Eisenwarenhandel arbeitete. In seiner neuen Heimat begann Foster als Mitglied der 1854 gegründeten Republikanischen Partei eine politische Laufbahn. In Grand Rapids war er Kämmerer, Mitglied im Stadtrat und schließlich Bürgermeister. In den Jahren 1855 und 1856 gehörte Foster dem Senat von Michigan an. Von 1865 bis 1866 war er nochmals Bürgermeister von Grand Rapids.
Nach dem Rücktritt des Kongressabgeordneten Thomas W. Ferry, der in den US-Senat wechselte, wurde Foster bei der fälligen Nachwahl für den vierten Sitz von Michigan als dessen Nachfolger in das US-Repräsentantenhaus in Washington, D.C. gewählt, wo er am 4. Dezember 1871 sein neues Mandat antrat. Bei den regulären Kongresswahlen des Jahres 1872 wurde Foster im fünften Wahlbezirk von Michigan erneut in das US-Repräsentantenhaus gewählt, wo er am 4. März 1873 Omar D. Conger ablöste. Foster konnte seine eigentlich bis zum 3. März 1875 laufende Legislaturperiode aber nicht beenden, da er bereits am 20. September 1873 starb. Nach einer erneuten Nachwahl fiel sein Mandat an William B. Williams.
