Roy Gaines nació el 12 de agosto de 1937 en Waskom, Texas. Su familia se trasladó a Houston cuando tenía seis años. Él es el hermano del saxofonista Grady Gaines . A una edad temprana Roy Gaines empezó a tocar el piano en el estilo de Nat King Cole . Se hizo amigo de otros músicos locales como Clarence Hollimon y Johnny Copeland. En su adolescencia comenzó a tocar la guitarra en clubes de toda el área de Houston. Se reunió con su héroe T-Bone Walker en 1951.