John Fassett Follett wurde im Franklin County in Vermont geboren. 1837 zog er mit seinen Eltern nach Ohio. Sie ließen sich dort im Licking County nieder. Er besuchte die öffentlichen Schulen und studierte Jura am Marietta College. 1855 schloss er sein Studium ab. Anschließend war er für zwei Jahre Lehrer an einer Schule. 1858 schließlich wurde er als Rechtsanwalt zugelassen; er begann im selben Jahr zu praktizieren. Von 1866 bis 1868 war er Mitglied des Repräsentantenhauses von Ohio, dessen Vorsitzender er 1868 war. Er zog nach Cincinnati um, um dort wieder als Anwalt tätig zu werden.
Als Nachfolger von Benjamin Butterworth wurde er bei den Kongresswahlen 1882 als Vertreter des 1. Distrikts von Ohio ins US-Repräsentantenhaus gewählt. 1885 schied er aus dem Kongress aus. Er ging zurück nach Cincinnati, um erneut als Anwalt tätig zu sein.
1902 starb Follett in Cincinnati und wurde auf dem dortigen Spring Grove Cemetery beigesetzt.