A Belváros területén a múlt század végén, e század elején szórványosan folyt magán zeneoktatás. A lehetőségek kiszélesítését, ill. a zene szélesebb rétegekhez való eljuttatását szolgálta a városatyák határozata, melynek alapján 1910-ben Budapest Székesfőváros Zenetanfolyamai néven szervezett zeneoktatás kezdődött. Ehhez adott négy helyszínt ez a belvárosi kerület.
A tanfolyami jelleg tartott egészen 1952-ig. (Emellett a fővárosban természetesen több helyen is működött kiváló magán zeneiskola, pl. a Fodor Zeneiskola a VI. kerületben). Ekkor határozott úgy a Fővárosi Tanács, hogy a tanfolyamokat és magán zeneiskolákat egyesítve megalakítja a Fővárosi Zeneiskolai Szervezetet, ezzel biztosítván a zeneoktatás iskolaszerűségét. Nyolc körzet alakult, kerületünk az 5. számú körzethez tartozott.
1957-ben létrehozták a 9. számú körzetet, melynek központja az Irányi u. 3. vagyis a “mi” épületünk lett, ahol három másik iskolával együtt használtuk az Angolkisasszonyok egykori épületét. A fővárosi felügyelet megmaradt ezután is, a zeneoktatás nagy része azonban a környező általános iskolákban folyt, mivel a központban csak néhány saját használatú hangszeres termünk volt.
Elhelyezési nehézségeink azzal sem enyhültek, hogy 1968-ban a főváros decentralizálási intézkedései nyomán megalakultak a kerületi zeneiskolák, vagyis a fenntartói jogok átkerültek a kerületi tanácsok hatáskörébe. Épület nem járt az önállósággal. Iskolánk neve ettől kezdve Fővárosi V. kerületi Állami Zeneiskola lett. Továbbra is nagyrészt a kerületi általános iskolák tantermeit használtuk zeneoktatásra.
1984-ben felvettük Szabolcsi Bence, a magyar zenetörténet-írás és zenetudomány XX. századi legkiválóbb képviselőjének nevét (aki véletlenül épp a kerületi Szent István Általános Iskola tanulója is volt). Azóta ápoljuk emlékét, 1998 óta pedig évenként Szabolcsi Bence Emlékérmet adunk ki halálának évfordulóján.
Amióta kerületi fennhatóság alá került az iskola, szinte folyamatosan napirenden volt, legalábbis kérelmi szinten, hogy oktatási-nevelési munkánkat méltó körülmények között végezhessük saját, zeneiskolának kialakított épületben, megfelelő felszereltséggel stb. Erre végül 1997-ben került sor.
Ekkor foglalhattuk el gyönyörű, esztétikus, célszerűen kialakított és majdnem az új tantervnek megfelelő eszköz-ellátottságú régi-új otthonunkat a Vármegye utcában. A „megfagyott zene” és az élő zene csodálatos találkozása ez az épület, amely örömére szolgál növendéknek, tanárnak, szülőnek egyaránt.
