Pondok Pesantren Roudlotut Tholibin bermula dari bangunan Musholla Roudlotut Tholibin yang didirikan pada tahun 1954 oleh Mbah Naim dan istrinya. Berlokasi di tengah-tengah lingkungan pedesaan yang masih minim ilmu agama, terutama ilmu Al-Qur’an, Mbah Naim dengan tekun mengajarkan ilmu agama Islam kepada masyarakat.

Setelah Mbah Naim wafat, kepemimpinan musholla dilanjutkan oleh putra beliau, KH. Abdul Mu’thi, dan istrinya, Ibu Nyai Hj. Tsuwaibah. Seiring waktu, semakin banyak warga sekitar dan orang dari luar desa yang datang untuk mengaji, bahkan hingga menginap. Pada tahun 1980, atas petunjuk Simbah KH. Arwani Amin, Pondok Pesantren Tahfidz Roudlotut Tholibin resmi didirikan dengan bantuan masyarakat setempat.

Awalnya, bangunan pondok hanya digunakan untuk santri putra. Namun, seiring waktu, dengan semakin banyaknya santri putri yang ikut mengaji, bangunan untuk pondok putri pun ditambahkan.

Saat ini, Pondok Pesantren Roudlotut Tholibin memiliki sekitar 250 santri putra dan putri yang berasal tidak hanya dari sekitar Kudus, tetapi juga dari luar kota dan bahkan luar pulau. Meskipun terbilang sepuh, pesantren ini tetap eksis dan terus berkembang dari tahun ke tahun.