MAN 2 Kota Langsa merupakan salah satu lembaga pendidikan agama islam Tingkat Menengah Atas yang ada dikota Langsa, dibawah naungan Kantor Kementerian  Agama  Kota Langsa. Madrasah ini didirikan pada tanggal 15 Juli 1998 dibawah yayasan Perguruan Tinggi Islam Zawiyah Cot Kala Langsa bernama MAS AL-Furqan yang terletak di Jalan Jenderal Ahmad Yani No. 7 Gampong Teungoh Kecamatan Langsa Kota, Kota Langsa.

Pada Awalnya madrasah ini hanya memiliki 1 (satu) Rombel yang merupakan peralihan siswa MAN Sungai Lueng sekarang (MAN 1 Langsa).
Dalam rangka mempercepat pertumbuhan dan pembangunan madrasah, muncul inisiatif untuk Penegrian Madrasah dari  beberapa tokoh pendidikan Kota Langsa Yaitu :
1.Bapak Drs. H. Abdullah AR ( Ka. Kandepag Kab. Aceh Timur )
2.Bapak Drs. H. Yunus Ibrahim ( Wali Kepala MTsN Langsa )
3.Bapak Drs. H. Rusli Mahmud  ( Kepala MAN Sungai Lueng Langsa )
4.Bapak Drs. Abdurrahman Yusuf  ( Pengawas Pendidikan Agama Islam Departemen Agama Kab. Aceh Timur
5.Bapak Sayed Mustafa ( dari Tokoh Masyarakat Kota Langsa ) 
Hasrat Kelima Tokoh Pendidikan tersebut baru tercapai pada tahun 1999 berdasarkan Surat Keputusan Menteri Agama Nomor 71 tanggal 22 Maret Tahun 1999 sehingga madrasah ini berubah nama dan Status menjadi Madrasah Aliyah Negeri Kampung Teungoh Langsa. Dan tenaga pengajar pada awalnya berjumlah 24 orang dari berbagai bidang studi baik dari Unsiyah, IAIN Ar-raniry Banda Aceh Maupun STAIN Zawiyah Cot Kala Langsa.
Tahun 2005 Madrasah ini menduduki Gedung Baru di Lokasi  Jalan Islamic Center No. 07 di Kelurahan Paya Bujok Beuramo Kecamatan Langsa Barat Kota Langsa sampai dengan sekarang. Dan Pada Tahun 2016 madrasah ini berubah nama menjadi MAN 2 Langsa berdasarkan Surat Keputusan Menteri Agama Nomor 670  Tanggal 17 November Tahun 2016. 
 

Sejak berdirinya madrasah ini telah mampu melahirkan Alumni yang berkualitas dan menjadi kebanggaan masyarakat Kota Langsa dan Aceh pada umumnya hingga dapat mencetak Lulusan yang mampu bersaing dengan Siswa/I di seluruh negeri dan bersaing untuk masuk perguruan tinggi yang ada di seluruh Indonesia. 

Adapun yang pernah menjadi Kepala MAN 2 Langsa yaitu :
1.Drs. Abdurrahman  Yusuf (1998  -  1999)
2.T. Helmi Sm.Hk  (1999  -  2002)
3.Drs, H. Palid Sudin Lubis, MBA  (2002  -  2004)
4.Drs. H. Yunus Ibrahim (2004 -  2006)
5.Drs. Usman Ibrahim, M.Pd  (2006   -  2009)
6.Zainab M.Mukhtar, S.Pd.I  (2009 - 2018)
7.Drs. Muhammad Nasir (2018 - 2020)
8.Muslim, S.Ps.I (2020 - 2021)
9.Rohani, S.Ag (2021 - SEKARANG)