Perteneciente a una familia de músicos - su padre era trompetista, y su madre y su hermano cantantes- Jimmy Rushing (1903-1972) aprendió a tocar el violín y el piano y estudio música en una escuela de su ciudad natal. Debutó profesionalmente en 1923 como cantante en California, acompañándose el mismo al piano, aunque ocasionalmente su pianista fue el mismísimo, Jelly Roll Morton. 

     En 1925, conoció a Walter Page y realizó una gira con la compañía de la Belly King Revue. En 1927 entró en los "Blue Devils" de Walter Page, con el que permaneció dos años, para después pasar al lado de Bennie Moten, con el que estuvo como cantante de su bigband desde 1929 hasta 1935. A la muerte de Moten, el pianista, Count Basie, se hizo cargo prácticamente de los músicos y formó una de las mejores bigband de toda la historia del jazz, la "Count Basie Orchestra", modelo imitado hasta la saciedad por infinidad de músicos que vieron en esa bigband, el modelo por antonomasia de la orquesta de swing. Con la orquesta de Count Basie, Jimmy Rushing estuvo hasta 1950, siendo, junto con Joe Turner, el mejor vocalista que pasó por la bigband de Basie.

     Jimmy Rushing, formó su propio grupo y con él se presentó en los mas famosos clubes de New York y en las mejores salas de bailes, entre ellas la "Savoy Ballroom". La popularidad adquirida como cantante de blues en la banda de Basie, le permitió ser contratado para cantar en festivales de jazz como el de Newport y Monterrey en los Estados Unidos, y realizar sus primeras giras por Europa donde llegó por primera vez en 1957 con el grupo ingles de Humphrey Littelton, en 1958 con la orquesta de Benny Goodman y al año siguiente con el trompetista Buck Clayton y sus "All Stars". Los años sesenta comenzaron para él, en una gira por Australia y Japón y de vuelta a América, consiguió un contrato estable para cantar en el Half Note acompañando a los saxofonistas, Zoot Sims y Al Cohn.

     Apodado por sus compañeros como "Mister Five by Five" - cinco de alto por cinco de ancho, en razón de su corpulencia -, con fama de tacaño y comilón, este orondo cantante tenía un sentido natural para cantar el blues y junto a Joe Turner o Jimmy Witherspoon, fue el cantante de blues mas importante de la historia. De su importante discografía para los sellos "Vanguard" y "Columbia", fundamentalmente, destaca su álbum titulado "The You and Me that Used to be",  (Bluebird-RCA, 1971) declarado mejor disco del año por la prestigiosa revista especializada Down Beat. También es muy destacable su participación en dos importantes programas televisivos dedicados al jazz. "The Sound of Jazz" dirigido por Jack Smight en 1957 para la serie dedicada a las Artes y en la que también participaron entre otros, Lester Young, Billie Holiday, Count Basie y Coleman Hawkins, y el producido por el critico, Leonard Feather en 1967 denominado, "Feather on Jazz"

     Jimmy Rushing, murió de leucemia en 1972 y su estilo, inconfundible desde la primera nota audible, fue extraordinario.