Islam masuk ke Palembang diperkirakan pada awal abad ke-1 H atau awal abad ke-8 Masehi. Sepanjang abad ke-7 sampai abad ke-14 Masehi, Islam di kota Palembang tumbuh dan berkembang pesat. Bersamaan dengan itu zaman keemasan kerajaan Sriwijaya berangsur-angsur mulai pudar.
Tokoh-tokoh ulama dan pemuda masyarakat dengan intesif membina umat pada awal abad ke-15 Masehi. Tersebutlah nama Syekh Al-Samad Al-Jawi Al-Palembani. Peran beliau sangat besar pasca berakhirnya kerajaan Palembang pada awal abad ke-19 Masehi.
