Im Jahr 1941 absolvierte Benjamin Gilman die Middletown High School. Zwischen 1942 und 1945 diente er während des Zweiten Weltkrieges im United States Army Air Corps. Dabei flog er 35 Kampfeinsätze über Japan. Für seine militärischen Leistungen wurde er mit mehreren Orden ausgezeichnet, darunter das Distinguished Flying Cross und die Air Medal. Nach dem Krieg absolvierte er die zur University of Pennsylvania gehörende Wharton School. Nach einem Jurastudium an der New York Law School und seiner 1950 erfolgten Zulassung als Rechtsanwalt begann er in diesem Beruf zu arbeiten. Zwischen 1953 und 1955 war er stellvertretender Generalstaatsanwalt des Staates New York (Assistant Attorney General). Politisch schloss er sich der Republikanischen Partei an. Zwischen 1966 und 1972 saß er als Abgeordneter in der New York State Assembly. Außerdem gehörte er der New York State Southeastern Water Commission an.
Bei den Kongresswahlen des Jahres 1972 wurde Gilman im 26. Wahlbezirk von New York in das US-Repräsentantenhaus in Washington, D.C. gewählt, wo er am 3. Januar 1973 die Nachfolge von Ogden R. Reid antrat. Nach 14 Wiederwahlen konnte er bis zum 3. Januar 2003 insgesamt 15 Legislaturperioden im Kongress absolvieren. Diese waren im Jahr 1974 von der Watergate-Affäre überschattet. In seine Zeit als Kongressabgeordneter fielen auch die Terroranschläge am 11. September 2001 und der Beginn des Irakkrieges. Zwischen 1995 und 2001 war Gilman Vorsitzender des Auswärtigen Ausschusses. Bis 1983 vertrat er noch den 26. Wahlbezirk, dann wechselte er in den 22. und 1993 schließlich in den 20. Distrikt. In den Jahren 1996 und 2000 nahm er als Delegierter an den jeweiligen Republican National Conventions teil. 2002 verzichtete er auf eine weitere Kandidatur. Zum Zeitpunkt seines Ausscheidens war er der älteste Abgeordnete des Repräsentantenhauses.
