Madrasah Aliyah Negeri (MAN) Pangkalan balai, sebelum berstatus Negeri mempumpunyai perjalanan yang cukup panjang dan unik, bermula dari Tahun Pelajaran 1983 / 1984. MA ini beroperasional dengan menempati ruangan yang dipinjam oleh Mesjid Jumhuriyah Pangkalan Balai, + 1 tahun kemudian mendapat pinjaman gedung bekas SD dan Kantor Marga Pangkalan Balai. Selama + 6 tahun MA ini berstatus kelas jauh / filial dari Sekayu dengan sebutan MAN Sekayu Filial Pangkalan Balai, dibawah pimpinan Drs. Sulaiman Jailani, selanjutnya karena status filial itu seolah tidak ada unung pangkalnya. Akhirnya Masyarakat Pangkalan Balai yang dimotori oleh Kepala Desa H. Zairin H. Zabidi bersama beberapa tokoh masyaarakat Pangkalan Balai dan Unsur Internal dari pihak MA sepakat merubah status MAN Sekayu Filial Pangkalan Balai berubah menjadi Madrasah Aliyah Miftahul Ulum ( MA – MU ) dibawah Yayasan Pendidikan Miftahul Ulum dan sebagai Kepala madrasahnya adalah Bapak Abdul Roni Ab, BA. Beliau memegang jabatan + 06 tahun. Kemudian digantikan oleh Bapak Drs. Alamuddin.
Setelah menjalankan tugas + 1,5 tahun pada masa Drs. Alamuddin inilah kemudian status Madrasah Aliyah Miftahul Ulum berubah menjadi Madrasah Aliyah Negeri (MAN) Pangkalan Balai. Selama + 2.5 tahun MAN ini menempati gedung MA – MU (lama). Pada tahun 1999 mendapat bantuan bangunan Ruang Kegiatan Belajar (RKB) sebanyak 3 lokal yang dibangun di atas tanah wakaf dari Pemerintah Desa Pangkalan Balai seluas + 10.000 M2 (1.Ha).
Karena RKB yang baru itu tidak mencukupi maka selama + 2 tahun Kegiatan Belajar Mengajar (KBM) berlangsung di dua tempat yaitu, gedung MA Miftahul Ulum dan gedung MA Pangkalan Balai. Sekitar Bulan November 2001 Kegiatan Belajar Mengajar (KBM) dilaksanakan secara penuh di gedung MAN Pangkalan Balai yang beralamatkan di Jalan KH. Sulaiman lingkungan IV Kelurahan Panagkalan Balai Kec. Banyuasin III Kab. Banyuasin.