Ross syntyi juutalaisperheeseen, joka oli emigroitunut Brest-Litovskistajuutalaisvainon pelossa. Hänen isänsä oli talmudilainen oppinut, ja hän itse halusi samaa. Hän kuitenkin tuli isänsä kanssa erimielisyys siitä, että hänen mielestään juutalaisenkin tulee pystyä puolustautumaan. Perhe siirtyi Chicagoon, jossa Ross vietti aikaansa Chicagon läntisten korttelien kaduilla, jotka olivat siihen aikaan juutalaisten slummeja. Hän ehti toimia sellaisten gangsterien kuin Jack Rubyn ja Al Caponen palveluksessa.
Ross otteli ensimmäisen ammattilaisottelunsa 1. syyskuuta1929 voittaen Ramon Lugon keskeytyksellä. Vuonna 1933 hän saavutti jopa kevyen sarjan maailmanmestaruuden kukistamalla Tony Canzonerin. Mestaruuden hän menetti vasta 1938 Jimmy McLarninille, joka jäi ainoaksi Rossin tyrmänneeksi nyrkkeilijäksi. Kaiken kaikkiaan 81 ammattilaisottelustaan hän voitti 74, joista kaksi luovutuksella ja 22 tyrmäyksellä. Ratkaisemattomia tuli kolme, tappioita neljä. Erityisesti hänen kestävyytensä keräsi huomiota.
Toisessa maailmansodassa hän taisteli merivoimissa. Hän pelasti kantamalla yli satakiloisen toverinsa itsekin haavoittuneena turvaan, ja hänelle myönnettiin hopeinen tähti, joka on kolmanneksi korkein yhdysvaltalainen sotilaallinen kunniamerkki.
Myöhemmin Ross kärsi morfiiniaddiktiosta. Hän tuki myös aktiivisesti Israelin valtiota sekä kirjoitti omaelämäkerran.
