Con apenas tres años de edad, Joe Williams se trasladó con su familia a Chicago, y a mediados de los años treinta formó su propio grupo vocal, los "Jubilee Boys". En 1937 tocó con la orquesta de Jimmie Noone, aunque el clarinetista era poco dado a utilizar en sus actuaciones a los cantantes, por lo que tuvo que dejarlo muy pronto. Con poco trabajo en el entorno del jazz, Williams, se vio obligado a cantar en la orquesta de baile de Les Hite, aunque en 1939, recobró el camino del canto jazzistico cuando colaboró puntualmente con la orquesta del saxofonista, Coleman Hawkins.

     En 1941, se unió a la orquesta de Lionel Hampton, en 1943 a la de Andy Kirk y en 1944 cantó con el dúo de Gene Ammons y Bud Johnson. 1946 fue el año en que grabó sus primeros discos con la orquesta de Red Saunders para el legendario sello "Okeh". No fue hasta 1950-1951, cuando grabó las primeras sesiones de grabación a su nombre para el sello, "Emus", un disco titulado: "Everyday i Have the Blues", un álbum que recibió los elogios de toda la critica. Tras un largo paréntesis de tres años, reapareció en el seno de la orquesta del gran maestro, Count Basie, en sustitución del cantante habitual de la orquesta, Jimmy Rushing. Con la orquesta de Basie, Joe Williams, graba sus primeros éxitos, entre los que destaca, el famoso "Every Day" y "All Right",  donde es muy valorado su estilo suave y refinado, e intenso y espontáneo a la vez.

      Con la orquesta de Count Basie, Joe Williams pasó seis intensos y fructíferos años, hasta que en 1961, empezó a actuar como cantante solista. Mas adelante, entró a formar parte del quinteto de Harry "Sweets" Edison, y del trío de Junior Mance. En 1957, colaboró con la orquesta de Jimmy Mundy y en 1959 con la de Jimmy Jones. Su fama y su canto le abrió las puertas de los principales festivales de jazz y de blues del mundo. En 1962, realizó una gira por Europa y a renglón seguido firmó un contrato con la RCA, que puso a su disposición las orquestas de Oliver Nelson, y de Frank Hunter. A finales de los sesenta, su trabajó derivó hacía los pequeños locales de fiesta donde ejercía de animador  de espectáculos.

     Su legado discográfico es extenso y selecto, y a lo largo de su carrera ha grabado para los sellos mas importantes, entre ellos: el citado RCA, Roulette, Blue Note, Savoy, Vanguard, Verve y Telarc, donde prácticamente estuvo hasta el día de su fallecimiento en 1999.