Su afición por la música le vino desde pequeño por que su madre era pianista y le daba sonido a las películas mudas. Influenciado por su madre, ingresó en 1946 en la prestigiosa "Julliard School of Music" de New York, al tiempo que tocaba el vibráfono y la batería  en el grupo del trompetista y compositor, Bob Astor. Dos años mas tarde, en 1948, era el vibrafonista de la banda de Randy Brooks y el éxito que obtuvo le permitió dar el salto a un grupo de mayor renombre: la orquesta de Benny Goodman.

     En 1949 dejó la orquesta de Benny Goodman y se enroló en la de Chubby Jackson con quien tuvo la oportunidad de hacer su debut discográfico. Efímeramente pasó por el sexteto del clarinetista, Buddy de Franco y en 1950 estuvo de gira por varios estados norteamericanos con la orquesta de otro clarinetista: Artie Shaw. Entre 1951 y 1952 trabajó de acompañante de Anita O'Day, Oscar Petifford, Roy Eldridge, Buddy de Franco y Slim Gaillard. Tras pasar cinco años actuando en diferentes grupos y escenarios, fue director musical del sello discográfico Prestige (1956-1957), de Jubilee (1958); y Bethelehem (1959). Miembro del Jazz Composers' Workshop, junto a Charles Mingus y Teo Macero. Grabó discos en ese contexto con el propio Mingus, con Miles Davis y Wardell Gray.

     Tras esa entusiasta etapa, Teddy Charles trabajó un tiempo como manager discográfico de la "Motown" y mas tarde, en 1965, dirigió su propio sello. Teddy Charles se retiró de la actividad musical para dedicarse a la náutica y presidir uno de esos clubes de élite.