Pendirian Pondok Pesantren Al Falah tidak terlepas dari nama besar Al Mukarram K.H.Muhammad Tsani, atau yang lebih dikenal dengan sebutan Guru Tani. Beliau adalah seorang ulama dan mubaligh, juga seorang pejuang yang tidak asing lagi di kalangan umat Islam di Indonesia terutama daerah Kalimantan Selatan,  Jawa dan sekitarnya,  bahkan sampai ke Tanah Tambilahan,  Indra Giri dan Malaysia, dengan dibantu oeh para kerabat beliau serta para dermawan di Kalimantan Selatan.

Pondok Pesantren Al Falah didirikan pada tanggal 26 Juli 1975 Masehi bertepatan dengan tanggal 06 Rajab 1395 Hijrah.

Pada mulanya KH. Muhammad Sani membantu KH. Idham Khalid membangun Darul Ma’arif di Jakarta. KH. Muhammad Sani dipercaya mencari kayu ulin di Banjarmasin dan mengirimnya ke Jakarta. Setelah bangunan selesai, beliau diminta untuk memimpin Darul Ma’arif, namun pada saat itu KH. Muhammad Sani berfikir, dari pada beliau mengabdi di sana, lebih baik membangun pesantren sendiri di Banjarmasin, dan akhirnya beliau menyatakan niat beliau itu kepada   KH. Idham Khalid, dan sepulangnya ke Banjarmasin dibentuklah panitia yaitu yang tercantum nama-nama beliau di Akte Notaris Yayasan Pondok Pesantren Al-Falah sebanyak 19 orang.

Dikala itu di Banjarmasin tidak terdapat tanah yang luas untuk membangun       Pondok Pesantren tersebut. Namun ternyata di Landasan Ulin ada beberapa orang yang ingin berwakaf tanah dan sebahagian ada yang mau menjual, maka gabungan dari tanah wakaf dan tanah yang dibeli tersebut, oleh yayasan dibangunlah Pondok Pesantren Al-Falah Putra. Sedangkan bahan bangunannya beliau minta kepada Gubernur Kalimantan Selatan saat itu, Gubernur Soebardjo yang sedang membongkar asrama tentara / Asrama Tatas (sekarang ditempati masjid kebanggaan Kal-Sel, yaitu Mesjid Sabilal Muhtadin).

Situasi Landasan Ulin kala itu sangat angker, sopir taksi tak berani singgah kalau ada penumpang di malam hari mencegat di pinggir jalan. Tetapi dengan keberadaan pesantren lambat laun rasa angker itu hilang.

KH. Muhammad Sani setiap tahun naik haji hingga sampai sebanyak 22 kali dengan membawa jamaah. Setiap pulang, selalu membawa dana dan kitab-kitab yang beliau peroleh dari orang yang dikenal beliau di Arab Saudi, temasuk yang pernah memberi sumbangan adalah Raja Arab Saudi kala itu, yaitu Raja Khalid.

Sumbangan diambil beliau di Jakarta yang diserahkan oleh Duta Besar Arab Saudi untuk Indonesia. Peristiwa tersebut diabadikan dengan foto penyerahan yang beliau tempel di dinding Pondok Pesantren. Setelah sumbangan dirupiahkan, ternyata berjumlah 63 juta rupiah.

Bantuan dana tersebut menghasilkan 2 buah gedung asrama dengan 14 kamar. Untuk mengenang dan menghormati orang yang memberi sumbangan tersebut, maka beliau memberi nama bangunan asrama, yaitu “Asrama Malik” (Malik 1 sampai Malik 14).

Lembaga pendidikan ini bernama "AL FALAH", sebuah kata yang diambil adzan yang berbunyi"HAYYA A LAL FALAH",  yang bermakna Hayya alal Fauz wan Najah (Marilah kepada Keberuntungan dan Keselamatan).  Maka dengan kata lutlah para pendiri berkeinginan agar orang-orang yang berada di dalamnya dan orang-orang pemerhati yang membantu kelancaran pendidikan Pondok Pesantren Al Falah ini selalu mendapat keberuntungan dan keselamatan di dunia maupun di akherat kelak.

KH. Muhammad Sani dan Pondok Pesantren Al-Falah tidak dapat dipisahkan. Karena beliaulah sebagai salah seorang pendiri yang paling banyak menangani pondok. Perumpamaannya bagaikan dua badan tapi satu jiwa. Al-Falah berkembang dan besar karena hasil keuletan serta kerja keras beliau. Sebaliknya beliau menjadi terkenal karena kemajuan Al-Falah.