Tom Brown wurde als Sohn des Vaudeville-Darstellers Harry Brown und dessen Frau, der Musical-Darstellerin Marie Brown, geboren. Brown modelte bereits als Kind für Buster Brown und Buick. Seine erste Rolle spielte Brown 1924 im StummfilmThe Hoosier Schoolmaster. Seinen ersten Tonfilm drehte er 1929: The Lady Lies. In den 1930er-Jahren war Brown ein populärer Darsteller von jugendlichen Liebhabern in Komödien oder Liebesfilmen, beispielsweise 1934 als Gilbert Blythe in der Literaturverfilmung Anne of Green Gables nach dem gleichnamigen Roman von Lucy Maud Montgomery. Im selben Jahr war er auch in der Rolle eines jungen Anwalts in John Fords Komödie Judge Priest an der Seite von Will Rogers zu sehen.
Als Brown in den 1940er-Jahren für seine jugendlichen Rollen zu alt wurde, spielte er vor allem in zahlreichen B-Movies. Im Zweiten Weltkrieg trat Brown der US-Armee bei und diente als Fallschirmspringer. Im Koreakrieg kämpfte er in der 40. Infanterie-Division. Er verließ die Armee im Rang eines Oberstleutnants. Ab den 1950er-Jahren absolvierte Brown auch viele Gastauftritte in erfolgreichen Fernsehserien wie Lassie, Perry Mason, Die Unbestechlichen, General Hospital und Zeit der Sehnsucht. In der Serie Rauchende Colts spielte er fünfzehn Jahre lang in einer wiederkehrenden Rolle den Rancher Ed O’Connor. Seinen letzten Auftritt hatte er 1979 in der Fernsehserie Die Jeffersons.
Der Schauspieler war zweimal verheiratet, beide Ehen wurden geschieden. Aus der zweiten Ehe hatte er drei Kinder. Brown erhielt einen Stern auf dem Hollywood Walk of Fame, 1648 Vine Street. Er starb 1990 im Alter von 77 Jahren in Woodland Hills an Krebs.
