Pada tahun 1960 bangunan itu dinamakan Sekolah Menengah Raja Perempuan Kalsom setelah ibu kepada Sultan Idris II Sultan yang memerintah pada masa itu. Bangunan ini dibina pada tahun 1905 dan dipanggil Kings Pavilion dan dijadikan kediaman rasmi sekiranya Residen Inggeris jika Perak hingga Merdeka pada tahun 1957. Bangunan ini seterusnya menggantikan Residensi Inggeris yang dibina pada tahun 1877 dan merupakan rumah bagi Sir Hugh Low, orang Inggeris yang ketiga Pemastautin sekiranya Perak.