John R. Fellows wurde in Troy (Rensselaer County) geboren. Die Familie Fellows zog dann nach Saratoga County und ließ sich bei Mechanicville nieder. In der folgenden Zeit besuchte er dort die Dorfschulen. 1850 zog er nach Camden (Arkansas). Er studierte Jura. Seine Zulassung als Anwalt erhielt er 1855 und begann dann in Camden zu praktizieren.
Nach dem Ende des Krieges nahm er in Camden seine Tätigkeit als Anwalt wieder auf. Er saß in den Jahren 1866 und 1867 im Senat von New York. 1868 zog er nach New York City, wo er erneut als Anwalt tätig war. Zwischen 1869 und 1872 sowie zwischen 1885 und 1887 war er stellvertretender Bezirksstaatsanwalt. Dann wurde er zum Bezirksstaatsanwalt gewählt – eine Stellung, die er zwischen 1888 und 1890 innehatte.
Bei den Kongresswahlen des Jahres 1890 wurde er als Demokrat im sechsten Wahlbezirk von New York in das US-Repräsentantenhaus in Washington, D.C. gewählt, wo er am 4. März 1891 die Nachfolge von Charles H. Turner antrat. Im Jahr 1892 wurde er im 14. Wahlbezirk von New York in das US-Repräsentantenhaus gewählt, wo er am 4. März 1893 die Nachfolge von William Griggs Stahlnecker antrat. Fellows verkündete allerdings am 31. Dezember 1893 seinen Rücktritt.
Danach war er vom 1. Januar 1894 wieder als Bezirksstaatsanwalt in New York City tätig – eine Stellung, die er bis zu seinem Tod am 7. Dezember 1896 innehatte. Er starb an den Folgen eines Magenkarzinoms. Sein Leichnam wurde auf dem Trinity Church Cemetery beigesetzt.