Jan Troell travaille pendant plusieurs années comme instituteur, mais commence à réaliser des courts métrages dans les années 1960. Son premier film, Här har du ditt liv (distribué en France sous le titre Les Feux de la vie), 1966, raconte l'histoire d'un adolescent de la classe ouvrière en Suède au début du XXe siècle. Le film est basé sur le récit autobiographique d'Eyvind JohnsonLe Roman d'Olof (1934-1937). En 1968, son film Ole dole doff remporte l'ours d'or au festival de Berlin.
Ses films les plus connus seront Les Émigrants et Le Nouveau Monde (1971), basés sur l'œuvre de Vilhelm Moberg, qui dépeignent le destin de paysans suédois émigrant aux États-Unis au XIXe siècle. Max von Sydow, qui y joue le rôle de Karl Oskar, restera un des acteurs fétiches du réalisateur. Les Émigrants sont nommés aux Oscars.
Troell fait une tentative à Hollywood qui se solde par un échec, avec les films Zandy's Bride (1974), avec Gene Hackman, et Hurricane (1979). Puis, Troell réalise Le Vol de l'aigle (Ingenjör Andrées luftfärd, 1982) qui retrace l'expédition désastreuse en Arctique de S. A. Andrée en ballon en 1897. Le film est nommé aux Oscars dans la catégorie « film étranger ».
Un autre film lui vaut l'Ours d'argent de la réalisation au festival de Berlin : Il Capitano (distribué dans les pays anglophones sous le titre Il Capitano : A Swedish Requiem), 1991), qui déclenche une controverse car il s'inspire d'un fait divers authentique, le triple meurtre d'Åmsele, survenu seulement trois ans plus tôt. Le film insiste sur les rapports psychologiques entre les personnages.
En 2001, il sort Så vit som en snö (As White as in Snow en anglais), film dont il signe le scénario avec Jacques Werup et qui raconte la vie d'Elsa Andersson, la première aviatrice suédoise. Le film remporte trois Guldbagge Awards : meilleur film, meilleur réalisateur et meilleure photographie.