Nació el 16 de Abril de 1945 en Brooklyn, Nueva York. Comenzó a tocar la guitarra a la edad de nueve años, cuando su padre le compró una Harmony f-hole, una guitarra acústica. Más tarde adquirió una archtop Gibson, con la que práctico la música hasta los 15 años.
El interés de Grossman en el revival folk fue provocado por asistir al Washington Square Park "Hoots", comenzando a escuchar viejas grabaciones de artistas como Elizabeth Cotten , Big Bill Broonzy , Lead Belly , Josh White , Lightnin 'Hopkins , Rev. Gary Davis , Blind Willie Johnson , Blind Boy Fuller , Son House , Charlie Patton , Skip James , Blind Blake , Blind Lemon Jefferson y Woody Guthrie .
