Farrar richtte in 1987 Uncle Tupelo op met Jeff Tweedy[4] en Mike Heidorn[5], nadat de zanger van hun vorige band The Primatives vertrok om naar de universiteit te gaan. Het trio nam drie albums op voor Rockville Records, voordat hij tekende bij Sire Records en de band uitbreidde naar een vijftal. Kort na het uitbrengen van het debuutalbum Anodyne kondigde Farrar zijn beslissing aan om de band te verlaten vanwege een verzuurde relatie met zijn co-songwriter Tweedy.
Na de ontbinding van Uncle Tupelo in 1994 formeerde Farrar de rockband Son Volt, wiens oorspronkelijke bezetting eind jaren 1990 drie albums uitbracht, voordat in 1999 een pauze werd ingelast. In 1999 werd Farrar uitgenodigd om deel te nemen aan het tributealbum voor mede-oprichter Skip Spence[6] van Moby Grape, die terminale kanker had. Het album More Oar: A Tribute to the Skip Spence Album (Birdman Records, 1999) was een album met covers van de nummers op het enige soloalbum Oar (Columbia Records, 1999) van Spence. In 2005 werd de band opnieuw geformeerd met een andere bezetting en heeft sindsdien zes extra albums uitgebracht.
In 1995 werkte Farrar samen met Kelly Willis[7][8] aan het nummer Rex's Blues, dat verscheen op het AIDS-benefietalbum Red Hot + Bothered, geproduceerd door de Red Hot Organization. Als soloartiest heeft Farrar twee volledige albums, twee ep's, één filmmuziek en verschillende live-opnamen uitgebracht. Zijn volledige albums zijn Sebastopol (2001) en Terroir Blues (2003), de eerste uitgebracht op het onafhankelijke platenlabel Artemis Records en de tweede uitgebracht op zijn eigen label Transmit Sound. De ep ThirdShiftGrottoSlack met nummers uit de Sebastopol-sessies, werd uitgebracht in 2002. Zijn partituur voor de onafhankelijke film The Slaughter Rule (2002, regisseurs Alex en Andrew Smith) werd in 2003 uitgebracht bij het onafhankelijke platenlabel Bloodshot Records. Farrar richtte in 2003 zijn eigen onafhankelijke platenlabel Transmit Sound op (voorheen Act/Resist Records genoemd). In 2004 bracht Farrar de zes nummers bevattende akoestische live-ep Live EP uit en in 2004 werd ook de live cd/dvd Stone, Steel & Bright Lights uitgebracht.
Farrar werkte tijdens de opname van Sebastopol nauw samen met toetsenist Steven Drozd[9] van The Flaming Lips. Eric Heywood, Mark Spencer[10] van de Blood Oranges en de rockband Canyon hebben Farrar vaak vergezeld bij zijn solo-opnamen en uitvoeringen. Spencer is nu een fulltime lid van Son Volt. In 2006 kondigde Farrar de formatie aan van de nieuwe band Gob Iron, met Anders Parker[11] van Varnaline. De nummers waaruit hun debuutalbum zou bestaan, werden in het najaar van 2004 opgenomen, terwijl Farrar bezig was met het opnemen van een nieuw Son Volt-album. Farrar werkte samen met Ben Gibbard (van de indierockbandDeath Cab for Cutie) om alle muziek te creëren voor de soundtrack van de documentaire One Fast Move or I'm Gone uit 2009, over Jack Kerouacs tijd doorgebracht in Big Sur. De soundtrack is uitgebracht op 20 oktober 2009. In 2012 hebben Farrar samen met Will Johnson, Yim Yames en Anders Parker meegewerkt aan het Woody Guthrie-archiefproject New Multitudes.
Stijl
Zijn muzikale stijl varieert van spaarzame, onbegeleide volksmuziek tot volledige rock-'n-roll-arrangementen, vergelijkbaar met Neil Young en Dinosaur Jr. Zijn solo-opnamen bevatten ook vaak geluidsexperimenten, die doen denken aan psychedelica, met een uitgesproken oosterse inslag. Een van de kenmerken van zijn geluid is het gebruik van alternatieve stemmingen op de gitaar. Zijn liefde voor Woody Guthrie inspireerde een gitaar op maat gemaakt door Creston Lea uit Vermont. De gitaar is gemaakt van artefacten die Jay heeft verzameld op de plek van Guthrie's ouderlijk huis. In 2012 was de gitaar te zien in een montage van gitaren van bekende musici van Karl Haglund.