Ustanovitev Srednje glasbene šole v Ljubljani je tesno povezana z razvojem glasbenega šolstva v Ljubljani, ki se je pričelo z ustanovitvijo prve državne glasbene šole pri ljubljanski stolnici leta 1807. Po raznih organizacijskih oblikah glasbenega šolstva so leta 1882 v Ljubljani ustanovili šolo Glasbene matice (ravnatelj Fran Gerbič), iz katere se je razvil in leta 1919 ustanovil prvi jugoslovanski konservatorij (ravnatelj Matej Hubad) z nižjo, srednjo in višjo stopnjo. Prav v tej glasbeni ustanovi so prvi zarodki kasnejše Srednje glasbene šole.
Leta 1939 je bila ustanovljena Glasbena akademija (rektor Anton Trost) s srednjo in visoko stopnjo, februarja 1946 pa Akademija za glasbo (rektor Lucijan Marija Škerjanc), ki je imela v svojem sestavu tudi srednjo stopnjo. Sožitje je trajalo vse do leta 1953, ko se je srednja stopnja ločila od Akademije za glasbo in postala samostojna Srednja glasbena šola Ljubljana (ravnateljica Vida Jeraj Hribar).
Za začetek baletnega izobraževanja na Slovenskem štejemo ustanovitev baletnega ansambla pri ljubljanski Operi leta 1919, v okviru katerega je nastala tudi baletna šola (vodja Vaclav Vlcek). Leta 1944 je bila ustanovljena Operna baletna šola (vodja Peter Golovin Gresserov in po letu 1946 Pia in Pino Mlakar) in leta 1948 pa Državna nižja baletna šola (ravnatelj Pino Mlakar). Srednja baletna šola je bila ustanovljena leta 1953 (ravnateljica Gizela Bravničar), ki je združevala baletno izobraževanje tako na nižji kot na srednji stopnji.
Leta 1963 so se po sklepu občine Ljubljana Center združile Glasbena šola Ljubljana-Center, Srednja glasbena šola in Srednja baletna šola v Zavod za glasbeno in baletno izobraževanje (ravnatelj Matija Tercelj). Zavodu se je priključil tudi oddelek za izrazni ples, ki je do tedaj deloval v Pionirski knjižnici.
Ime Srednja glasbena in baletna šola Ljubljana je ustanova dobila leta 1983 z uvedbo srednjega usmerjenega izobraževanja. Leta 1992 je bil na šoli v okviru srednjega glasbenega izobraževanja ustanovljen oddelek za jazz in zabavno glasbo, leta 2007 pa je bila ustanovljena še Višja baletna šola.
Današnje ime Konservatorij za glasbo in balet Ljubljana je šola dobila novembra 2009.
Šolo so vodili ravnatelji: Matija Tercelj (1963-1985), Franci Okorn ( 1985-1991), Igor Karlin (1991-1992), Tomaž Buh (1992 - 2009), Dejan Prešiček (2010-2018) in Polona Češarek (2018 - 2023). Od novembra 2023 je v. d. direktorice zavoda Betka Bizjak Kotnik.