Sejarah pendidikan di Indonesia mencatat, bahwa pondok pesantren merupakan bentuk lembaga pendidikan pribumi tertua di Indonesia. Ada dua pendapat mengenai awal berdirinya pondok pesantren di Indonesia. Pendapat pertama menyebutkan bahwa pondok pesantren berakar pada tradisi Islam sendiri, dan pendapat kedua mengatakan bahwa sistem pendidikan model pondok pesantren adalah asli Indonesia.
Menurut pendapat pertama ada dua versi, yang berpendapat bahwa pondok pesantren berawal sejak zaman Nabi masih hidup. Dalam awal-awal dakwahnya, Nabi melakukan dengan sembunyi-sembunyi dengan peserta sekelompok orang, dilakukan di rumah-rumah, seperti yang tercatat di dalam sejarah, salah satunya adalah rumah Arqam bin Abu Arqam. Sekelompok orang yang tergolong dalam As-Sabiqunal Awwalun inilah yang kelak menjadi perintis dan pembuka jalan penyebaran agama Islam di Arab, Afrika, dan akhirnya menyebar ke seluruh dunia.
Versi kedua menyebutkan bahwa pondok pesantren mempunyai kaitan yang erat dengan tempat pendidikan yang khas bagi kaum sufi. Pendapat ini berdasarkan fakta bahwa penyiaran Islam di Indonesia pada awalnya lebih banyak dikenal dalam bentuk kegiatan tarekat yang melaksanakan amalan-amalan dzikir dan wirid tertentu. Pemimpin tarekat itu disebut kiai, yang mewajibkan pengikutnya melakukan suluk selama 40 hari dalam satu tahun dengan cara tinggal bersama sesama anggota tarekat dalam sebuah masjid untuk melakukan ibadah-ibadah di bawah bimbingan kiai. Untuk keperluan suluk ini, para kiai menyediakan ruangan khusus untuk penginapan dan tempat memasak yang terdapat di kiri kanan masjid.
Pendapat kedua mengatakan, pondok pesantren yang dikenal saat ini pada mulanya merupakan pengambilalihan dari sistem pondok pesantren yang diadakan orang-orang Hindu di Nusantara. Hal ini didasarkan pada fakta bahwa jauh sebelum datangnya Islam ke Indonesia, lembaga pondok pesantren pada masa itu dimaksudkan sebagai tempat mengajarkan ajaranajaran agama Hindu.
Pondok pesantren di Indonesia baru diketahui keberadaan dan perkembangannya setelah abad ke-16. Karya-karya Jawa Klasik seperti Serat Cobolek dan Serat Centini mengungkapkan dijumpai lembaga-lembaga yang mengajarkan berbagai kitab Islam Klasik dalam bidang Fiqih, Tasawuf, dan menjadi pusat-pusat penyiaran Islam yaitu pondok pesantren.
Masa Kolonialisasi
Ketika pemerintah kolonial Belanda berkuasa di Indonesia, tampaknya tidak mampu mengendalikan pertumbuhan pesantren dan madrasah sebagai lembaga pendidikan yang dibangun dan dibentuk oleh masyarakat Islam.
Meskipun pemerintah kolonial Belanda melakukan berbagai kebijakan politik diskriminitif dan refresif terhadap lembaga pendidikan Islam; tidak membuat lembaga pendidikan Islam seperti pesantren terhenti perkembangannya.
Orde Lama
Setelah Indonesia merdeka, pendidikan agama telah mendapat perhatian serius dari pemerintah, baik di sekolah negeri maupun swasta. Usaha tersebut dimulai dengan memberikan bantuan sebagaimana anjuran oleh Badan Pekerja Komite Nasional Pusat (BPKNP) tanggal 27 Desember 1945, yang menyebutkan:
“Madrasah dan pesantren yang pada hakikatnya adalah satu sumber pendidikan dan pencerdasan rakyat jelata yang telah berurat dan berakar dalam masyarakat Indonesia pada umumnya, hendaknya mendapatkan perhatian dan bantuan nyata berupa tuntunan dan bantuan material dari pemerintah“
Pendidikan Agama kemudian diatur secara khusus dalam UU Nomor 4 Tahun 1950 pada bab XII Pasal 20, yaitu:
Di sekolah-sekolah negeri diadakan pelajaran agama, orang tua murid menetapkan apakah anaknya akan mengikuti pelajaran tersebut atau tidak.
Cara penyelenggaraan pendidikan agama di sekolah negeri diatur dalam peraturan yang ditetapkan oleh Menteri Pendidikan Pengajaran dan Kebudayaan, bersama-dengan Menteri Agama.
Perkembangan pendidikan Islam pada masa orde lama sangat terkait pula dengan peran Departemen Agama yang mulai resmi berdiri pada tanggal 3 Januari 1946. Departemen Agama sebagai suatu lembaga pada masa itu, secara intensif memperjuangkan politik pendidikan Islam di Indonesia. Pendidikan Islam pada masa itu ditangani oleh suatu bagian khusus yang mengurus masalah pendidikan agama, yaitu Bagian Pendidikan Agama.
Tugas dari bagian tersebut sesuai dengan salah satu nota Islamic education in Indonesia yang disusun oleh Bagian Pendidikan Departemen Agama pada tanggal 1 September 1956, yaitu : 1) memberi pengajaran agama di sekolah negeri dan partikulir, 2) memberi pengetahuan umum di madrasah, dan 3) mengadakan Pendidikan Guru Agama serta Pendidikan Hakim Islam Negeri.
Berdasarkan keterangan di atas, ada dua hal yang penting berkaitan dengan pendidikan Islam pada masa orde lama, yaitu pengembangan dan pembinaan madrasah dan pendidikan Islam di sekolah umum.