Abu Dzar berasal dari sukuGhifar (dikenal sebagai penyamun pada masa sebelum datangnya Islam). Ia memeluk Islam dengan sukarela. Ia salah seorang sahabat yang terdahulu dalam memeluk Islam. Ia mendatangi Nabi Muhammad langsung ke Mekah untuk menyatakan keislamannya.
Setelah menyatakan keislamannya, ia berkeliling Mekkah untuk mengabarkan bahwa ia kini adalah seorang Muslim, hingga memicu kekhawatiran serta kemarahan kaum kafir Quraisy dan membuatnya menjadi bulan - bulanan kaum Quraisy. Berkat pertolongan Abbas bin Abdul Muthalib, ia selamat dan suku Quraisy membebaskannya setelah mereka mengetahui bahwa orang yang dipukuli berasal dari suku Ghifar. Ia mengikuti hampir seluruh pertempuran-pertempuran selama Nabi Muhammad hidup.
