Основой музея стала частная коллекция графа Николая Петровича Румянцева.
Частично в эту коллекцию вошли предметы собранные еще его отцом – выдающимся русским полководцем графом Петром Александровичем Румянцевым-Задунайским.
Коллекция графа Румянцева состояла из крупного собрания книг, монет, рукописей, и исторических материалов. По тем временам это было крупнейшее частное собрание. Заслуга Николая Петровича Румянцева состоит в том, что он решил сделать ее доступной для всех желающих. В 1826 году он передал свою библиотеку и другие коллекции Министерству народного просвещения. 10 апреля 1828 года император Николай I подписал указ о создании Румянцевского музея, который был открыт в особняке Румянцева на Английской набережной в Санкт-Петербурге.
Библиотека Румянцева, составившая основу музея, включала 28 тысяч томов. В нее входили коллекция старопечатных книг, рукописей, 104 инкунабулы, сотни географических карт.
Через 30 лет в 1861 году Румянцевский музей был переведен в Москву, разместился в Доме Пашкова и был объединен с Московским публичным музеем. В 1862 году был создан «Московский публичный и Румянцевский музеум».
Библиотека, входившая в состав музея, была в 1863 году объявлена публичной. Книжное собрание постоянно пополнялось за счет частных пожертвований, что делало библиотеку публичной не только по названию, но и способу формирования книжного фонда. В 1913 году статус этого учреждения повысился, что отразилось в новом названии: «Императорский Московский и Румянцевский музей».
В 1924 году в музее было оставлено только собрание книг, а остальные коллекции переданы в различные музеи. С этого момента бывший Румянцевский музей функционировал только как библиотека.
В настоящее время наследницей Румянцевского музея является Российская государственная библиотека.
Виртуальная реконструкция Румянцевского музея.