Nelson Riddle nació en New Jersey en 1941. De niño aprendió a tocar piano y trombón, y se sintió atraído por igual por la música clásica y las grandes orquestas de jazz.