Huérfano desde muy pequeño, antes de adoptar el contrabajo como el instrumento que le daría la gloria en el jazz, John Kirby se dedicó al trombón, instrumento que le robaron en uno de sus viajes a New York. Tras ahorrar consigue comprarse un bajo tuba y encontró trabajo en el grupo del trombonista, Bill Brown entre 1928 y 1930 consiguiendo además grabar sus primeros registros para la Brunswick. Entre abril de 1930 y marzo de 1934 formó parte de una de las mejores bigbands de de la epoca del swing, la orquesta de Fletcher Henderson, con quien también realizaría numerosas grabaciones ya con el contrabajo como instrumento definitivo.

     Tras pasar cuatro años con la orquesta de Fletcher, Kirby estuvo un año entero con la bigband del baterista Chick Webb (1934-1935) y en la primavera de 1937 formó parte del famoso sexteto del "Onyx Club" de Harlem, siendo su actuación una de las mas valoradas por los aficionados. Con esa formación estuvo hasta 1942 grabando varios discos para DECCA, Okeh-Columbia Vocalion y RCA Victor. Ese sexteto, uno de los más importantes de New York, y de los mas avanzados musicalmente en aquellos años en el panorama jazzistico, estaba formado además de por Kirby en el contrabajo, por Buster Bailey en el clarinete, Russell Procope en el saco alto, el trompetista Charlie Shavers, el pianista Billy Kyle y el baterista, O'Neil Spencer. Por razones de salud se trasladó tras la guerra a California donde de vez en cuando actuaba con la orquesta de Benny Carter. La salud le jugó una mala pasada y la diabetes le causo la muerte siendo aun muy joven.