Участок этот ещё в 1738 году принадлежал генералу Наумову. После долгих злоключений его дочь продала в 1774 году всю усадьбу Сергею Александровичу Меньшикову, в то время полковнику, флигель-адъютанту императрицы. Он был один из богатейших людей того времени, и приходился внуком ближайшему сподвижнику Петра Первого Александру Даниловичу. По словам князя Долгорукова "князь Сергей Меншиков был ничтожным человеком, к тому же он унаследовал развратные вкусы своего знаменитого деда, но все это было ему простительно, потому что женат он был на одной из самых красивых женщин России".
Через 2 года архитектор Казаков выстроил для Меньшикова этот дворец. Сейчас первоначальный вид здания можно найти только на заднем фасаде: руст, наличники, накладные доски.
В конце 18 века, а может быть и в начале 19-го (уже при новом владельце грефе Аркадие Ивановиче Моркове) дом ещё раз был переделан. Возможно это произошло после Пожара 1812 года. Но изящные ионические пилястры заменились на коринфские полуколонны, поставленные на аркаду. Морков был личностью примечательной. По описанию историка: "Он прославился тем, что будучи нашим послом в наполеоновской Франции, часто противоречил всесильному императору, не любившему возражений. На одном из приемов Наполеон, желая унизить посла, проходя мимо него, уронил платок, остановился и стал ждать, пока тот поднимет и подаст ему. Морков и не подумал поднимать. Если Наполеон не обращал внимания на русского посла, то Морков немедленно уезжал с приема. После одной особенно резкой сцены, когда Наполеон обвинил Моркова в пособничестве его врагам, посол вообще прекратил все сношения с двором. Наполеон пожаловался Александру, Морков был отозван и тут же награжден высшим российским орденом"
Поскольку Морков часто не жил в своём дворце, известно, что в 1814 году бельетаж дома снимал у него Московский английский клуб.
Затем дом ещё несколько раз менял владельцев.
Здание хранит память и о революционных событиях — в октябре 1917 года здесь произошло сражение между бойцами Красной гвардии и засевшими в доме белогвардейцами.После революции было намерение застроить всю округу многоэтажными домами, но архитектор И.П.Мешков сумел доказать, что данный дворец имеет художественное значение. Всё же, правый флигель был сломан, жилой дом по линии улицы был выстроен. Левый, в котором одно время жил Чайковский, сохранился.
С 1924 по 1962 гг. в доме жила народная артистка СССР Вера Пашенная, о чем есть мемориальная доска. Кроме этого в доме размещалась редакция газеты "За коммунистическое просвещение" (с 1937 г - "Учительская газета"). Сечас во дворце Департамент жилищной политики и жилищного фонда города Москвы.