Después de cursar estudios musicales en la Howard University debutó como saxofonista en 1944 con la orquesta de Billy Eckstine, y posteriormente colaboraría con las formaciones de Duke Ellington y Dizzy Gillespie entre otros. Cuando abandonó la orquesta de Ellington en 1950, se comprometió en tocar junto a Oscar Petifford, Clifford Brown y Fats Navarro. Tras un efímero paso por el octeto de Count Basie en 1950, grabó algunas sesiones de grabación con Clifford Brown en 1953 y en 1956, junto al trompetista francés, Julius Watkins formó el grupo: "Les Jazz Modes" y en esa misma epoca grabó con Art Farmer y Joe Gordon.

     En 1959 inició su etapa jazzistica mas interesante cuando se enroló en la formación del pianista, Thelonious Monk, con quien permaneció en su cuarteto hasta prácticamente la retirada de éste del circuito jazzistico en 1970. Saxofonista predilecto de Monk, Charlie Rouse se ganó el prestigio de sus compañeros de profesión alcanzando una espléndida madurez artística. Tras la retirada de Monk del escenario actuó durante algunos años como sideman acompañante de otros grandes músicos en la zona de Chicago, Washington y Detroit. En 1975 formo el grupo Sphere (en homenaje a Monk) y con el recorrió durante los años ochenta clubes, festivales y actuaciones en medio mundo. Antes de fallecer participó con gran brillantez en el álbum que la cantante Carmen McRae, dedico al genial pianista.