Bajo la mirada atenta de su padre, Larry Young se dedicó desde niño al aprendizaje del órgano, instrumento que su progenitor tocaba en una iglesia baptista de Newwark. Al mismo tiempo una profesora le enseñaba piano. Su aparición en la escena jazzistica no se produjo hasta 1957 y sus comienzos fueron alrededor de grupos procedentes del Rhythm and Blues a principios de los años sesenta. En 1964 tuvo la oportunidad de realizar una gira por Europa deteniéndose durante dos meses en Paris y uno en Alemania donde grabó junto a Nathan Davis para el sello Saba.

     En 1965 su carrera dio un avance espectacular cuando recomendado por el maestro Jimmie Smith, grabó para Blue Note, el disco "Into Something!" que le ayudó a darse a conocer en el entorno de los músicos de jazz. Su carrera discográfica comenzó años atrás cuando en 1960 grabó dos álbumes para el sello New Jazz: "Testifying" y "Young Blues". En 1962 grabó para Prestige, el álbum "Groove Street" y a partir de 1964 y hasta 1969 fue en Blue Note donde dejó sus mejores registros. Organista muy creativo, fue capaz de encontrar un sonido propio que le diferenciaba de la forma de tocar de otros organistas. Innovador e influenciado por las ideas musicales de John Coltrane, siguió por el camino que dejó marcado el famoso saxo tenor. Su colaboración musical y sus ideas avanzadas le llevó a colaborar con músicos de una generación posterior a la suya como el guitarrista, John  McLaughin o el baterista, Tony Williams.

     Larry Young también fue un destacado compositor y algunas de las mas celebres se han convertido con el paso del tiempo en auténticos estándares del jazz como: "Paris Eyes" o "Backup". Una trágica enfermedad le retiró de la escena muriendo de neumonía en marzo de 1978 con apenas 37 años.