Mann werd in New York geboren als Herbert Jay Solomon. Hij begon zijn muzikale carrière als saxofonist in een militaire band, en schakelde vervolgens over op de dwarsfluit. In 1958 nam hij een congaspeler in zijn band op, en in 1961 maakte hij een tournee door Brazilië.
Bij zijn terugkeer nam hij enkele albums op met Braziliaanse muzikanten. Deze albums, waaronder Do The Bossa Nova, droegen bij aan het populariseren van de bossanova, en brachten hem internationaal succes. Mann verwierf wereldfaam met zijn muzikale fusie van oorspronkelijke jazz en Braziliaans/Afrikaanse ritmes. Hij nam meer dan honderd platen op, waaronder een album met het trio van Wessel Ilcken.
