Sekolah Menengah Kebangsaan Sungai Karangan mula dibuka dengan rasminya pada     01 Januari 1984. 
Pada awalnya, pelajar-pelajar di sekolah ini menumpang di Sekolah Kebangsaan Sungai Karangan sebagai pelajar sesi petang dan hanya mempunyai kelas Peralihan dan Tingkatan 1 sahaja. Pada 01 Ogos 1984 kumpulan pelajar pertama ini mula menggunakan bangunan baru yang dibina semenjak tahun 1983. Bangunan baru ini terletak di atas sebidang tanah yang berkeluasan 15 ekar dan berjarak lebih kurang 200 meter dari jalan Baling-Kulim di kawasan pekan Sungai Karangan. Pada peringkat awalnya, terdapat  7 orang guru dan bilangan pelajarnya seramai 133 orang dan seterusnya meningkat dari tahun ke setahun sehinggalah mencapai 492 orang pada tahun 2000.

Sekolah ini mempunyai 3 blok 2 tingkat yang di dalamnya mempunyai pejabat, bilik guru, bilik tayangan, bilik kaunseling, bilik disiplin, makmal, bilik pendidikan seni, surau, perpustakaan,tandas dan juga kelas-kelas. Juga terdiri 1 blok kantin setingkat, 1 blok bilik Kemahiran Hidup dan yang terbaru dibina pada penghujung tahun 1999 ialah 1 blok baru setingkat yang mempunyai 3 bilik darjah.

Pelajar-pelajar di sekolah ini mula mengambil peperiksaan Sijil Rendah Pelajaran (SRP) pada tahun 1986 dan mula mengambil Sijil Pelajaran Malaysia 
(SPM) pada tahun 1993.

Dari segi pentadbiran sekolah, ianya dimulai dengan Encik Akbar Bin Ridzwan sebagai Pengetua pada tahun 1984 sehingga 1987, diikuti oleh 
Encik Abd Hamid Bin Saad dari tahun 1987 sehingga 1989, diikuti oleh 
Encik Abu Bakar Bin Shafie dari tahun 1989 sehingga 1992, diikuti pula oleh
Encik Mahmud Bin Din dari tahun 1992 sehingga 1997, diikuti pula oleh 
Encik Mohd Nor Bin Othman dari tahun 1997 sehingga 1999. Bermulanya alaf baru sekolah ini mula diterajui oleh Pengetua baru yang berpindah dari Sekolah Menengah Kebangsaan Selama iaitu Encik Rusdin Bin Husin. Dengan pertukaran demi pertukaran atas kepentingan perkhidmatana pendidikan, maka banyaklah inovasi dan perubahan-perubahan yang dibuat ketika mereka memimpin sekolah ini. Adalah menjadi harapan semua bahawa sekolah ini akan setaraf dengan sekolah-sekolah  yang menjadi sebutan dan  daya tarikan kepada masyarakat setempat.