Animado por su padre, Schifrin comenzó muy joven su educación musical, estudiando en instituciones argentinas. En el año 1952 (con 20 años) se traslada a París a estudiar en el Conservatorio de la capital francesa, donde se sumerge de lleno en el fascinante mundo jazzístico de París. En esos años acude a clubes nocturnos, se empapa de jazz y conoce a multitud de personas. A mediados de los años 50 regresa a Buenos Aires y forma su propia big band. En el año 1956 conoce a Dizzy Gillespie, estableciéndose entre los dos una relación profesional que duró varios años. En 1960, se traslada a Estados Unidos y comienza a trabajar con Gillespie, formando parte de su quinteto y grabando con gran éxito Gillespiana, composición que el propio Gillespie le había encargado previamente. En 1962 acaba su colaboración profesional y a partir de aquí, Schifrin se centraría en sus composiciones para cine y televisión, trasladándose a Hollywood un año más tarde.
El éxito cosechado por sus composiciones para la televisión fue enorme. Entre otras, destacan las partituras para las series Misión Imposible, Kung Fu y Mannix. Estas creaciones, pegadizas, breves y directas, empezaron a consolidar su fama como hacedor de main titles o temas centrales de impacto. Lo cierto es que todos ellos incluían elementos más que significativos de sus influencias, como el jazz, las big bands y la música latina. Con esos componentes era capaz de crear unas sintonías de acción espectaculares (mucha gente veían las series solo por sus músicas de cabecera). La televisión de aquella época era un mercado increíble, rebosante de posibilidades y experimentaciones, aspectos que le vinieron muy bien para sus creaciones cinematográficas.