Williams, Sohn von Willie Goreed und Anne Beatrice, geb. Gilbert, kam als kleines Kind nach Chicago, wo er von seiner Mutter und Großmutter aufgezogen wurde. In seiner Jugend trat er als Mitglied der Gesangsgruppe Jubilee Boys in den Kirchen von South Side Chicago auf. Ende der 1930er Jahre arbeitete er als Türsteher („Bouncer“) und Sänger in Clubs und nahm einige 78er mit Chicagoer Rhythm-and-Blues-Orchestern auf. 1943 wurde er von Lionel Hampton als Sänger engagiert, mit dessen Orchester er einige Jahre tourte. Seinen Durchbruch und eigentliche künstlerische Entwicklung zum Bluessänger schaffte er erst als Sänger des Count Basie Orchestra, wo er den legendären Bandsänger Jimmy Rushing und Maxine Sullivan nachfolgte und seine Qualitäten als Shouter wirkungsvoll in Blues-Nummern eingesetzt werden. Ab 1954 haben Basie und Williams Hits mit Stücken wie Everyday I Have the Blues und Al right, O.k., You Win. Besonders erfolgreich war das Verve-Album Count Basie Swings, Joe Williams Sings von 1956. Auf dem Newport Jazz Festival 1957 trat er mit der Basie-Band auf, bei der auch Lester Young gastierte. Damals begann eine lange Zusammenarbeit mit Verve, um 1959 einige Alben mit Streicher-Arrangements für Roulette Records (Joe Williams Sings About You) sowie für RCA-Victor (Jump for Joy, 1963). Nach der Basie-Zeit setzte er seine Karriere erfolgreich mit eigener Band fort, kehrte aber auch später häufiger zu Basie zurück. 1966 nahm er auch mit der Thad Jones/Mel Lewis Big Band (im selben Jahr gegründet) des langjährigen Basie-Kornettisten und Arrangeurs Thad Jones auf.
In den 1980er Jahren wurde er von Bill Cosby in dessen Show als sein Schwiegervater „Grandpa Al Hanks“ besetzt.
