Fils de l'éminent guitariste de jazz John « Bucky » Pizzarelli, qui en plus du nom lui donne les mêmes prénom?s (John Paul), le natif de Paterson, dans le New Jersey, arrive au monde le 6 avril 1960. Après avoir hésité entre la musique et le base ball, un sport dont il est friand, John Pizzarelli Jr. choisit finalement la voie paternelle et travaille son jeu de guitare pour devenir musicien professionnel.
Peu après des débuts sous l'aile de son père, il signe ses premiers albums sous l'étiquette Stash Records, I'm Hip (1983) et Hit That Jive, Jack! (1985), puis P-Vine Records, Chesky Records et Novus, filiale de RCA. Parallèlement à une activité d'accompagnateur, il s'affirme comme chanteur et leader de big band, notamment avec le Boston Pops Orchestra et le Cincinnati Pops Orchestra. Au milieu des années 1990, il accompagne son père pour une série d'enregistrements, puis intègre le quatuor de son frère, le contrebassiste Martin Pizzarelli. Son jeu reconnaissable pour son style vif et entraînant, est influencé par le swing et les grandes signatures du jazz West Coast.
Sous son nom, John Pizzarelli a enregistré une trentaine d'albums dont la plupart sont des hommages à ses musiciens ou styles de prédilection. Dans un répertoire largement constitué de reprises, il réalise les recueils New Standards (1994) et After Hours (1996), deux opus dédiés à Nat « King » Cole (Dear Mr. Cole, 1994 et P.S. Mr. Cole, 1999), un ouvrage de chansons de Noël (Let's Share Christmas, 1996) et deux aux rythmes brésiliens (Brazil, 2000 et Bossa Nova, 2004). De 2002 à 2007, il participe à quatre albums de sa femme, la chanteuse Jessica Molaskey.
En 2006, c'est aux amateurs de Frank Sinatra que s'adresse Dear Mr. Sinatra, et pour ceux de Duke Ellington qu'il enregistre Rockin' in Rhythm: A Tribute to Duke Ellington, paru en 2010. Admirateur de The Beatles auxquels il a consacré un volume, Meet the Beatles (1998), John Pizzarelli fait honneur aux chansons de leur bassiste sur Midnight McCartney (2015). En 2014, il participe avec son père à l'album de la chanteuse Annie Ross, To Lady in Love, dédié à Billie Holiday.
