Mektep, Selim Ağa Kütüphanesi´nin sağ tarafında ve Selamsız Caddesi üzerindedir. Mektebin 1782 tarihinde kütüphane ile beraber yaptırılmış olduğu avlu kapısı üzerindeki kitabesinden anlaşılmaktadır.
Selim Ağa, Sıbyan Mektebi´ni 1937 tarihinde yıktırarak halkın Taş Mektep dediği şimdiki 23. İlkokul binası olarak yaptırılmış ve daha sınra Hacı Selim Ağa ilköğretim Okulu adını almıştır.
2%10013-2%10014 Eğitim Öğretim yılında Milli Eğitim Bakanlığı Özel Eğitim ve Rehberlik Hizmetleri Genel Müdürlüğü´ne bağlı Hacı Selimağa Özel Eğitim Uygulama Okulu olarak (ağır ve orta düzeyde zihinsel engelliler okulu) 17.%1002.2%10014 tarihinde eğitim öğretime başlamıştır.