Setelah dibebaskan, ia diberi tugas untuk mendirikan cabang Al Qaeda Suriah, yang dikenal sebagai Front al-Nusra.

Pengaruh Front al-Nusra meluas di daerah-daerah yang dikuasai oposisi, terutama Idlib.

Pada April 2013 kepala Negara Islam di Irak,  Al Qaeda Abu Bakr al-Baghdadi memutuskan untuk memutuskan hubungan dengan kelompok teror dan memperluas kelompoknya di Suriah, yang akan menyebabkan Front al-Nusra ditelan ke dalam kelompok baru yang disebut ISIL.

Namun, Golani menolak untuk bekerja sama dengan Baghdadi dan mempertahankan kesetiaannya kepada Al Qaeda.

Setelah 2014, Golani menjauh dari proyek Al Qaeda untuk mendirikan kekhalifahan global dan fokus pada pembangunan kelompok militannya di dalam perbatasan Suriah.

Pada awal 2017, Golani mengumumkan bahwa dia bergabung dengan kelompok-kelompok pejuang yang telah mengalir ke Idlib melarikan diri dari Aleppo dan membentuk HTS.