Hijo de profesores de música, James Melvin "Sy" Oliver, empezó a tocar la trompeta a los 12 años recibiendo clases de su padre y ensayando en una orquesta de jóvenes de su edad. Tocó con los "Cliff Barnett's Club Royal Serenaders" durante tres años de manera alterna. En 1928, tras obtener el diploma escolar se enroló en la banda de Zack White, los "Chocolate Beau Brummels" tocando en Cincinnati. Entre 1930 y 1933 se dedicó a la enseñanza y a los arreglos y al termino de ese aprendizaje, el director de una de las mejores orquestas de swing de la época, Jimmie Lunceford, lo contrató, para tocar la trompeta y para que le escribiera los arreglos de la banda. 

     La orquesta de Jimmie Lunceford, debe su fama fundamentalmente a los extraordinarios arreglos de Sy Oliver, dejando a su marcha, a finales de 1933, una innumerable colección de temas y composiciones extraordinarias, algunas de las cuales han pasado a ser estándares del jazz. Tras su paso por la orquesta de Jimmie Lunceford, y ya con una bien ganada fama de arreglista singular, recaló en la orquesta de Tommy Dorsey, con quien estuvo hasta casi el comienzo de la II Guerra Mundial. Entre 1943 y 1945 dirigió una orquesta en el ejercito y una vez licenciado, actuó con frecuencia en el Zanzíbar Club de New York.

     Inició la década de los cincuenta trabajando como director musical para varias compañías discográficas entre ellas, DECCA, Jubilee y Bethelehem. En 1960 consiguió reunir una formación de indudable valor artístico, entre los cuales estaban, Charlie Shavers, George Barnes o George Duvivier. Grabó un disco con ellos, para el sello "Vogue" titulado "Annie Laura" que demostró que sus arreglos seguían siendo magníficos. Dos años mas tarde, en 1962, volvió a grabar con el mismo grupo otro álbum titulado: "Easy Walker" y a partir de ahí no hay rastros de su trabajo hasta bien entrados los años setenta, donde grabó para el sello "Black and Blue" y participó en algunos festivales de jazz importantes, entre ellos el de Newport.

     Sy Oliver, falleció en 1988 y su muerte dejó un hueco importante entre los grandes arreglistas de la era del swing.