Следующий комплекс строений в Камергерском переулке начинается сразу за домом 3а, а оканчивается на углу с Большой Дмитровкой. Если зайти с Большой Дмитровки во двор, то можно увидеть главный дом усадьбы (строение 4). В 1830 году в нём Пушкин приобрёл огромный карточный долг, в 1866 снимал 6 комнат Лев Толстой, в 1880-ых жил известный зоолог Сабанеев, а кроме того дом связан ещё с десятком известных фамилий. Но больше нас интересует угловая часть дома 5/7, строение № 1. В 1913 году хозяйка выстроила этот доходный дом в стиле неоклассицизма с круглым угловым эркером и княжеским гербом. В начале 1920-х годов в доме размещался Шахматный клуб. Здесь прошла первая Всероссийская шахатная олимпиада, победителем которой стал будущий чемпион Мира Алёхин.
А в 1924 году здесь открылся книжный магазин, который, несмотря на несколько переименований, сохраняет специализацию до сих пор. И тогда, и сейчас магазин торгует Педагогической книгой.
А в части дома, примыкающей к Музею МХАТа с 1936 года находится магазин медицинской книги.На верхних этажах находятся жилые квартиры. Пастернак поселил в этом доме доктора Живаго. А в действительности с 1921 по 1934 год в квартире 23 жил выдающийся русский оперный певец Л.В.Собинов. А позже - его зять писатель Л.Кассиль. А в конце 20-х годов у друзей останавливался М.А.Шолохов. Тут в конце 20-го века обнаружилась рукопись "Тихого Дона", считавшаяся утраченной.
Во дворе дома был парк бутафорских экипажей времён Екатерины Великой. И именитые жильцы пользовались.