Hudební nástroje byly v Národním muzeu sbírány již od počátku založení muzea v roce 1818. Jednalo se však pouze o sběr doplňkový – hudební nástroje byly ukládány nejprve v oddělení archeologickém, později v archeologicko-etnografickém. Samostatné hudební oddělení bylo v Národním muzeu založeno teprve v roce 1946, základem sbírky hudebních nástrojů byly právě nástroje původně uložené v archeologických sbírkách. V této době byly také připravovány první výstavy hudebních nástrojů. V roce 1950 byla plánována výstava Pražská houslařská škola v 18. a 19. století a v rámci festivalu Pražské jaro byla realizována v Břevnovském klášteře výstava České hudební nástroje minulosti – vystaveno bylo celkem 500 nástrojů. V roce 1950 získalo hudební oddělení pro své sbírky Velkopřevorský palác na Malé Straně. Expozice hudebních nástrojů byla otevřena 6. 5. 1954 – vystaveno bylo 880 nástrojů, což byla více než polovina tehdejší sbírky! Historické hudební nástroje byly také využívány při koncertech pořádaných hudebním oddělením, na kterých byly hrány skladby z notového archivu hudebního oddělení.
Expozice hudebních nástrojů setrvala ve Velkopřevorském paláci do roku 1990, kdy byl objekt v rámci restitučního řízení navrácen původnímu majiteli, Suverénnímu řádu maltézských rytířů. Velké škody na hudebních nástrojích způsobila v mimopražských depozitářích povodeň v roce 2002.
Nová expozice hudebních nástrojů s názvem „Člověk-nástroj-hudba“ byla otevřena 22. 11. 2004 v novém objektu Českého muzea hudby v Karmelitské ulici. Vystaveno je zde 400 nástrojů.
Součástí oddělení hudebních nástrojů je od roku 1953 také Státní sbírka hudebních nástrojů, zahrnující špičkové smyčcové nástroje, která slouží k interpretačním účelům. Tyto nástroje si mohou pronajímat nejen špičkoví interpreti, ale i nadějní mladí hráči.
Při oddělení funguje nově také Metodické centrum dokumentace, konzervace a restaurování hudebních nástrojů, jehož posláním je poskytovat zejména konzultační pomoc v oblasti péče o hudební nástroje a jejich restaurování a podle potřeby provádět výzkum v rámci celé České republiky.