Здание по современному адресу ул. Тверская, 21 построено в 70-е гг. XVIII в. для братьев А. М. и М. М. Херасковых. В 1780-е гг. здесь проходили собрания масонского кружка при участии Н. И. Новикова. При владельце особняка графе Л. К. Разумовском архитектор А. А. Менелас создаёт проект перестройки здания. В 1811 г. к старому дому было пристроено левое крыло. Во время войны 1812 г. Разумовские уехали в Тамбов, а вернувшись, застали дом разорённым. Особенно пострадали интерьеры: в центральной гостиной французские солдаты забивали скот – наборный паркет и шпалеры были безнадёжно испорчены. Строительство возобновилось в 1814 г. благодаря архитектору Д. И. Жилярди и к 1817 г. завершилось. Тогда-то и была создана типичная для зрелого классицизма строго симметричная композиция усадьбы. Здесь появилось правое крыло, стоявшие отдельно флигели были объединены с главным строением, возведён портик из восьми дорических колонн на арочном основании; крылья здания связала кованая железная ограда, ограничивая парадный двор; на пилонах белокаменных ворот появились знаменитые львы.

Московский Английский клуб являлся одним из центров формирования общественного мнения в Москве. Если до середины XIX в. членами его были преимущественно представители дворянства, то во второй половине XIX в. социальный состав изменился: клуб стали посещать купцы, финансисты, промышленники. Членами его в разное время были М. И. Кутузов, Д. В. Давыдов, П. Я. Чаадаев, П. Я. Вяземский, А. С. Пушкин, И. А. Крылов, А. С. Грибоедов, многие декабристы, Л. Н. Толстой. На рубеже XIX–XX вв. в него вошли представители торгово-промышленных кругов России: И. А. Морозов, Н. И. Гучков, Н. И. Прохоров, П. Д. Боткин, И. Ф. Мамонтов и др. 

Клуб был исключительно мужским (женщины в него не допускались), а число членов ограничивал устав (первоначально 300 человек, затем 600). Согласно инвентарной описи за 1899 г., в Московском Английском клубе имелись такие залы, как столовая, гостиная, каминная, читальная, газетная, портретная, бильярдная, фруктовая комната и др. Учреждение обладало обширной библиотекой, для его членов выписывались российские и иностранные газеты и журналы на 4 языках. здесь можно было в любой день вкусно позавтракать и поужинать, а по средам и субботам – ещё и пообедать. В начале XX столетия клуб переживал трудные времена. В 1909 г. увеличилась плата за входные билеты, количество обедов сократилось. В комнате, которая звалась «лифостротон» (судилище), разместили «чёрную доску», на которой записывали исключённых за неуплату взносов. В 1912 г. были сданы в аренду земли – и на дворе со стороны Тверской улицы возвели ряд торговых помещений. В результате прекрасный фасад здания очутился на задворках этих новых строений, в левом крыле среди прочего приютился синематограф. В 1913 г. в клубе состоялся последний парадный обед, посвящённый 300-летию дома Романовых. Во время Первой мировой войны половина здания была отдана под госпиталь, комнаты перестроили.

После октября 1917 г. в здании бывшего английского клуба размещалось одно из хранилищ государственного национального музейного фонда, работала комиссия по организации музея Старой Москвы, демонстрировались выставки.