Ada banyak istilah yang dikemukakan untuk mencari asal-usul istilah tashawuf, diantaranya; suffah, shaf, shafa, shopos, shaufanah, shafwah dan shufwu (tashawafa). Setelah diselidiki, ternyata secara harfiah yang paling tepat adalah kata terakhir, tashawwafa (memakai baju dari kulit domba).
Secara luas pengertian tashawuf berbeda antara satu ahli dengan lainnya tergantung pengalaman dan rasa yang telah mereka dapatkan dari bertashawuf. Maka para ahli mencoba membagi definisi ini pada tiga kategori utama; al-bidayah: definisi tasawuf yang masih dalam tingkat permulaan, al-mujahadah; definisi yang menyatakan bahwa tashawuf adalah kegiatan dan kesungguhan dari salik dan al-madzaqah; berisi definisi yang berisi pengalaman dan rasa seorang sufi, seperti al-hallaj,IbnuAraby,dll