Na een cellostudie besloot hij in 1885 dirigent te worden. In 1886 maakte hij als dirigent een tournee door Brazilië. In 1895 werd hij vaste dirigent in Turijn, en in 1898 kwam hij aan het operahuis van La Scala te Milaan. In 1908 kreeg hij een aanstelling aan de Metropolitan Opera in New York en in 1926 aan het New York Philharmonic Orchestra, maar hij bleef ook optreden in Europa. In Nederland dirigeerde Toscanini enige keren het Residentie Orkest.
Toscanini's woede-uitbarstingen waren berucht. Opgenomen repetitiefragmenten tonen aan dat hij voortdurend schreeuwde tegen musici. Hij maakte hen uit voor "imbecielen". Volgens sommigen schold hij echter niet zozeer de musici uit, maar vooral zichzelf: hij moest wel erg mislukt zijn als hij met zulke imbecielen moest werken.[bron?]
Het verhaal doet de ronde dat een blazer tijdens een uitvoering ontdekte dat zijn bes-klep niet meer functioneerde. Toscanini reageerde dat hij die klep gedurende dat muziekstuk niet meer nodig zou hebben. Zo groot was zijn kennis van instrument en partituur.
Toscanini was de schoonvader van de beroemde Russische pianistVladimir Horowitz, die met zijn dochter Wanda trouwde.
