Předtím tu byla lékárna, magistrát, první moskevská univerzita a v roce 1872 dal Alexander II. postavit finančně velmi náročnou budovu muzea, které mělo zobrazovat historii ruského národa. Pro návštěvníky se však dveře muzea otevřely až o 11 let později.
Na vnitřní výzdobě se podíleli nejvýznamnější ruští umělci. Mezi ně patřil například A. P. Popov, V. M. Vasnecov a dopoledne I. E. Repin či V. A. Serov. Historii a kulturu tohoto národa můžete objevovat až v 39 síních. Jednotlivé místnosti jsou zasvěcené prvním obyvatelům, tatransko-mongolskému jihu, Ivanovi Hroznému, osvícenému absolutismu Kateřiny II. Velké, vítězství nad Napoleonem, zrušení nevolnictví nebo dobývání Sibiře.
Mnoho exponátů bylo získaných v 20. letech znárodněním majetku. V té době mělo muzeum sloužit jako naučně-výzkumný ústav. Po roce 1928 začalo být využíváno převážně na propagandu. V letech 1936-37 u příležitosti otevření výstavy na počest dvacátého výročí bylo mnoho interiérů zničeno.
V současnosti zde najdete okolo 22 000 předmětů na dvou patrech. Abyste si ohlédli všechny exponáty, musíte udělat 4000 kroků. Přičemž nachodíte asi 3 km. Historické muzeum vlastní celkem 4,5 milionu exponátů.