Hijo de dos pianistas profesionales, el organista, Jimmy Smith, (Norristown, 1925), ya ganó a los nueve años un concurso para pianistas aficionados. En 1942, formó con su padre un pequeño grupo que sirvió para aumentar su vocación de músico, no interrumpida ni siquiera por el servicio militar, obligación que cumplió en 1945. En la segunda mitad de los años cuarenta, profundizó sus conocimientos musicales matriculándose en la "Hamilton School of Music" donde dio clases de contrabajo. Debutó profesionalmente en 1952, con el grupo "Don Gardner and his Sonotone" donde ya tocaba simultáneamente el piano y el órgano. El paso definitivo al órgano lo dio tres años mas tarde, cuando en 1955, Jimmy Smith, formó su primer trío para tocar en el Café Bohemians de New York, logrando un gran éxito. Como era lógico esas actuaciones no pasaron desapercibidas para la critica especializada y en 1956, el prestigioso sello "Blue Note" lo añade a su nómina de músicos.

     Jimmy Smith y la Blue Note mantuvieron desde entonces una relación profesional y musical absolutamente extraordinaria y sus discos fueron saliendo con una regularidad constante. Su debut en los estudios fue con el álbum: "New Sound, A New Star: Jimmy Smith at the Organ, Vol. 1", un disco que sería el espaldarazo definitivo a su carrera como organista y lo convertiría en el mas prestigioso instrumentista de órgano del jazz, comparable incluso, con lo que llegó a hacer Charlie Christian con la guitarra eléctrica. Su formula preferida siempre fue en trío o cuarteto y entre 1956 y 1963, Jimmy Smith grabó para Blue Note, la friolera de treinta y dos álbumes, lo que da idea tanto de la capacidad creativa del organista en esos años, como la calidad y amplitud de su repertorio. 

     Tras su extraordinaria etapa en "Blue Note", Jimmy Smith, que toca casi siempre rodeado de extraordinarios músicos, como Kenny Burrell, Stanley Turrentine y Philly Joe Jones, entre otros, da otro paso importantísimo en su carrera cuando decide fichar por el popular sello "Verve", donde también grabó entre 1962 y 1973, cerca de una treintena de discos, colocando varios de ellos en las listas de los mas votados del jazz. Al mismo tiempo, y de manera sistemática desde 1964, Jimmy Smith, gana por aplastante mayoría las votaciones de la prestigiosa publicación Down Beat en la sección de lectores y también la de críticos, como organista de jazz, categoría incluida en las votaciones a partir de ese año. La magnifica distribución internacional de Verve consiguió que el trabajo del organista se expandiera a los mercados europeos y japonés, en los que Smith se hizo rápidamente muy popular (sobre todo en Inglaterra) ayudado de sus actuaciones en directo y televisivas en las que quedaba bien patente su virtuoso y exhibicionista dominio del instrumento. 

     De la extraordinaria, amplísima y excelente discografía de Jimmy Smith, a lo largo de su carrera profesional es obligatorio destacar tres discos que por orden cronológico son imprescindibles: "Back at the Chicken Shack" (Blue Note, 1960); "Bashin': The Unpredictable Jimmy Smith" (Verve, 1962) y el grabado a dúo con el maestro de la guitarra, Wes Montgomery titulado: "Jimmy & Wes: The Dynamic Dúo" (Verve,  1966). Jimmy Smith, es una referencia fundamental del moderno órgano de jazz, ganando un gran prestigio entre la crítica especializada e influenciando definitivamente en la música popular afroamericana a través de una auténtica legión de seguidores.