
Музей заложили на базе Московской консерватории, где постепенно накапливались рукописи, нотные записи, партитуры, личные вещи музыкантов, их музыкальные инструменты, фотографии из музыкальных спектаклей. В 1912 году открылась экспозиция, в которой были представлены три итальянские скрипки (Николо Амати, Антонио Страдивари и Санто Серафино), коллекция инструментов народов Средней Азии и Казахстана А. Ф. Эйхгорна, а также рояль особой конструкции, принадлежавший князю Владимиру Одоевскому.
В 1985 году в музее стали открываться постоянные экспозиции. В 2011 году он получил название Всероссийское музейное объединение музыкальной культуры имени М. И. Глинки, а в 2018 году был переименован в Российский национальный музей музыки.