Размах талызинского строительства на Воздвиженке свидетельствовал о значительных материальных средствах заказчика. На улице были сооружены главный трехэтажный дом и два двухэтажных флигеля, обращенных к Воздвиженке торцами. Между ними находились ведшие во внутренний двор двое украшенных парными колоннами ворот. Скорее всего, по московскому обычаю, во флигелях были использованы части старой постройки.
Главный дом получил дворцовое решение — с анфиладой высоких парадных помещений во втором этаже и огромным двусветным залом, обращенным во двор. Эта парадная анфилада стала особенно обширной после того, как в 1816 году разрывы между главным зданием и флигелями были застроены. Тогда же появилась торжественно развернутая парадная лестница с большим выходящим на улицу вестибюлем. Эти помещения и часть комнат первого этажа получили богатейшую отделку с использованием искусственного мрамора, с колоннами, расписанными плафонами и рельефными «фаянсовыми» печами. Весь этот декор удалось восстановить после реставрации 1960-х годов.
Значительные изменения в общий облик талызинского дома были внесены на рубеже ХIХ—ХХ веков, когда занимавшая здание Казенная палата надстроила его боковые части до уровня главного корпуса.
Очень любопытен по своей планировке парадный двор, оказавшийся позади здания. Еще при А. И. Талызине было построено здание конюшен, симметричное древней трапезной Аптекарского приказа, и полукруглая декоративная стена между ними. Это позволило включить в общий ансамбль и косо поставленный самый старый среди остальных строений «Дом садовника», относящийся к началу XVIII века.
Талызинский дворец неслучайно был приобретен государством для размещения в нем Казенной палаты. И снова приходится уточнять расхожее благодаря путеводителям советского времени представление об этом учреждении как о «финансовом управлении города». В действительности впервые созданная Екатериной II в 1775 году Казенная палата сосредоточивала в себе все казенное управление. Она заведовала государственными имуществами и строительной частью страны. Впоследствии функции палаты сводятся к счетоводству и отчетности по приходу и расходу сумм в губернских и уездных казначействах, непосредственно ей подчиненных. Она наблюдает за поступлением государственных доходов, добивается их уплаты, но сама не вводит и не взимает никаких сборов. Казенная палата распоряжается производством всех расходов по губернии и не допускает не предписанных Министерством финансов расходов, какое бы ведомство ни пыталось их произвести.
Дом Талызина на Воздвиженке. 1787; 1816 г. Анфилада.
В результате своеобразной преемственности уже в советские годы в талызинском дворце работают сначала Секретариат ЦК РКП(б), который часто посещает Ленин, затем последовательно Наркомат юстиции, Госплан, а с 1945 года Музей архитектуры, получивший с 1963 года имя своего первого директора архитектора А. В. Щусева.
Дом № 5, который ряд советских справочников называет уютной квартирой председательствующего Казенной палаты, в действительности всегда принадлежал Крестовоздвиженскому монастырю и служил жильем для клира Крестовоздвиженского собора.
Имена владельцев здешних земель в Средние века постепенно стирались временем, и тем не менее к ним трудно не обратиться — слишком много они значили в истории страны. Так, участки под номерами 12–14 при царе Алексее Михайловиче принадлежали боярину Борису Ивановичу Морозову, воспитателю царя, женатому на сестре его жены, царицы Марьи Ильичны Милославской. Первый период правления юного царя все его решения принимались по подсказке и чуть ли не приказу боярина. Постоянной гостьей здесь бывала боярыня Морозова — знаменитая поборница старообрядчества, бывшая замужем за родным братом Бориса Ивановича.
Здание под номером 12, сохранившееся до наших дней, относится к концу XVIII века. Его отличал великолепный сад, выкорчеванный ради установки ныне снятого памятника М. И. Калинину работы скульптора Б. И. Дюжева. Открытый в апреле 1978 года грузный бронзовый монумент в настоящее время заменен торговым павильоном. Восстанавливать сад никто не стал.
Оставшееся в глубине палисадника с фонтаном здание под номером 14 — произведение одного из интереснейших московских зодчих — Романа Ивановича Клейна. Выученик Петербургской академии художеств, в дальнейшем несколько лет стажировавшийся в Париже, Клейн известен также своей преподавательской работой в Рижском политехническом институте и Московском высшем техническом училище (ныне — МГТУ им. И. Э. Баумана). В Москве по его проектам построены Государственный музей изобразительных искусств им. Пушкина, здание универсального магазина «Мюр и Мерилиз» — ныне ЦУМ, «Чайный дом» С. Перлова на Мясницкой, Средние Торговые ряды на Красной площади и в 1912 году Бородинский мост-памятник Отечественной войне 1812 года.
Особняк был построен по заказу А. А. Морозова, промышленника и предпринимателя. С начала XX века его хозяйкой стала Варвара Алексеевна Морозова, входившая в руководство Товарищества Тверской мануфактуры. Много писалось о ее литературном и общественном салоне, не меньшее значение имела и широчайшая благотворительная деятельность Варвары Алексеевны. Она входит в Благотворительное общество при психиатрической клинике имени Морозова, Общество для пособия нуждающимся студентам при Московском университете, в Попечительский совет при Народном университете имени Шанявского, Городское попечительство о бедных, Общество вспомоществования нуждающимся студентам Императорского технического училища, Городской библиотеки — бесплатной читальни имени И. С. Тургенева. Она попечительница Городского ремесленного училища, носящего ее имя, и Рогожского городского начального женского училища. Это Варваре Алексеевне принадлежат слова: «Деньги схватить, коли случай подвернется, и дурак сумеет. А вот смысл им придать, человеческий смысл — такое искусство, как дар Божий, немногим дано».
Гостями В. А. Морозовой бывали А. П. Чехов, В. Я. Брюсов, К. С. Станиславский, В. И. Немирович-Данченко, В. Г. Короленко, Г. И. Успенский. В 1905 году Морозова предоставила свой особняк лекторской группе МК РСДРП. Среди выступавших с докладами были историк М. Н. Покровский, И. И. Скворцов-Степанов, историк, публицист и экономист, работавший учителем в Городском училище на Арбате.
В советские годы особняк Морозовых последовательно занимали Институт социальной гигиены, Международный аграрный институт во главе с известным болгарским коммунистом Василием Коларовым, Комиссия партийного контроля при ЦК КПСС. С 1959 года в нем располагался Союз обществ дружбы и культурных связей с зарубежными странами.
Соседний особняк, известный в Москве под названием «Мавританского замка», был построен по заказу А. А. Морозова на подаренной ему матерью земле. Архитектурный облик дома, привлекающий туристов сегодня, вызвал искреннее негодование В. А. Морозовой. По словам современников, она бросила в гневе сыну: «То, что ты дурак, все знали в семье, а теперь узнала вся Москва». Не менее возмущенно откликнулся на появление этого здания и Л. Н. Толстой в XII главе второй части романа «Воскресение»: «глупый, ненужный дворец какому-то глупому и ненужному человеку».
Возможно, именно поэтому Морозов-младший доверил свой замысел — «фантазию на мавританский стиль» с использованием мотивов португальского замка Синтра — неизвестному архитектору. В. А. Мазырин специализировался на строительстве тюрем и имел в этом отношении даже собственную теорию, которой делился с Константином Коровиным и Федором Шаляпиным. Отсюда, кстати сказать, такое резкое отличие пышнейшего парадного подъезда, витых колонн портала, фланкирующих его круглые башни со стенами, покрытыми высеченными в камне раковинами, короны кружевных парапетов с предельно строгим дворовым фасадом, где совершенно гладкую плоскость стен прорезают только большие окна.
В воспоминаниях К. А. Коровина есть эпизод спора В. А. Мазырина, которого приятели шутливо звали «Анчуткой», с А. М. Горьким:
«— Позвольте, господа, — сказал Мазырин. — Никогда не надо начинать с театра, храма, домов, а первое, что надо строить, — это остроги.
Горький, побледнев, вскочил из-за стола и закричал:
— Что он говорит? Ты слышишь, Федор? Кто это такой?
— Я кто такой? Я — архитектор, — сказал спокойно Мазырин. — Я знаю, я строю, и каждый подрядчик, каждый рабочий хочет вас надуть, поставить вам плохие материалы, кирпич ставить на песке, цемент уворовать, бетон, железо. Не будь острога, они бы вам показали. Вот я и говорю — город с острога надо начинать строить.
Горький нахмурился:
— Не умно.
— Я-то дело говорю, я-то строил, а вы сочиняете… и говорите глупости! — неожиданно выпалил Мазырин.