Zwischen 1983 und 1989 war er für insgesamt 88 Rennen in der Formel 1 genannt, konnte sich bei vier Rennen jedoch nicht qualifizieren und nahm am Grand Prix von San Marino 1985 nicht teil. Er errang 14 WM-Punkte und als beste Platzierung einen 4. Rang. 1985 wechselte er von RAM zu Zakspeed. Sein letztes Formel-1-Rennen fuhr er 1989 in Japan. Danach bestritt er unter anderem noch einige Rallycross-Rennen mit einem Ford RS200.
Nach seiner Rennfahrerkarriere arbeitete er ab Mitte 1993 für einige Jahre bei der BBC als Fernsehkommentator, wo er den kurz zuvor verstorbenen James Hunt ersetzte.
1998 gründete Palmer die Rennserie Formula Palmer Audi, auch bekannt als Palmer Audi oder FPA, in der Monoposto-Fahrzeuge mit 1,8-Liter-Turbomotoren von Audi und einer Leistung von rund 300 PS zum Einsatz kommen. Bekanntester FPA-Eleve ist der frühere Formel-1- und Champ-Car-Pilot Justin Wilson, aber auch Fahrer wie Gary Paffett und Andy Priaulx sammelten in dieser Rennserie Erfahrungen.