Orlando Kellogg wurde ungefähr drei Jahre vor dem Ausbruch des Britisch-Amerikanischen Krieges in Elizabethtown im Essex County geboren und wuchs dort auf. Er verfolgte eine akademische Laufbahn. Kellogg machte früh eine Lehre zum Zimmermann und ging dann dem Gewerbe bis 1838 nach. Während dieser Zeit studierte er Jura. Seine Zulassung als Anwalt erhielt er 1838 und begann dann in Elizabethtown zu praktizieren. Zwischen 1840 und 1844 war er Vormundschafts- und Nachlassrichter (surrogate) im Essex County.
Bei den Kongresswahlen des Jahres 1862 für den 38. Kongress wurde er im 16. Wahlbezirk von New York in das US-Repräsentantenhaus gewählt, wo er am 4. März 1863 die Nachfolge von William A. Wheeler antrat. Er wurde wiedergewählt, verstarb allerdings während seiner Amtszeit am 24. August 1865 in Elizabethtown. Während des Bürgerkrieges half er das 118. Regiment der New York Volunteers zu organisieren und zu finanzieren. Als Folge davon wurde er als „Father of the Regiment“ bekannt. Sein Leichnam wurde auf dem Riverside Cemetery beigesetzt. Zu Gedenken von Kellogg wurde ein Ehrenmal auf dem Congressional Cemetery in Washington D.C. errichtet.
