Hijo del guitarrista Bucky Pizzarelli, John empezó a cantar con su padre a los 20 años e hizo su grabación de debut en 1983 con "I'm Hip. Please Don't Tell My Father".
Actualmente, Pizzarelli es uno de los principales representantes del neotradicionalismo jazzístico aplicado al canto.