Возможно, что ею владел голландский купец и промышленник, живший в Московии с 1630-х гг., Тилеман или, как его звали здесь, Филимон Акема, основавший железоделательные и оружейные заводы в Малоярославецком уезде и в районе Тулы и Каширы и прибавивший к ним и небольшой завод царского тестя боярина И. Д. Милославского. От Акемы и его наследников все имущество перешло к его вдове Анне, вышедшей замуж за Варфоломея (или, по-русски, Вахрамея) Петровича Меллера.
Известно, что владельцем каменных палат в Столповом переулке в начале XVIII в. был тот самый Вахрамей Меллер, «железных заводов содержатель». Таких, как заводы Меллера, «в Российском государстве не бывало, от которых и русские изрядно научились».
Петр I хорошо знал Меллеров, бывал на их заводах и, как рассказывали, даже собственноручно отковал 18 пудов пруткового железа, после чего потребовал заплатить ему так, как платили и опытным мастерам. Петр приезжал к нему и домой, в палаты в Столповом переулке, — так, например, в «Походном журнале» 1723 г. было записано, что 3 января «по утру Его Величество паки поехал славить, и славили сперва… у иноземца Меллера и кушали у него… День был сперва вьюжен, а пополудни прочистилось и было солнечное сияние и небольшой ветерок, а к ночи паки гораздо ветрено».
От В. П. Меллера палаты и заводы перешли к сыновьям его, из которых Петр стал известен как первый в России нумизмат, собиратель монет, а также рукописных книг, летописей и карт. В 1735 г. он выступил в Академии наук с докладом о русских и татарских монетах, и причем не на латыни, как было всегда, а впервые на русском языке.
Сыновья Петра Меллера В. П. и П. П. Меллеры были последними владельцами заводов и московского двора в Столповском переулке в Москве. В 1780 г. двор перешел по купчей крепости к Е. А. Несвицкой, вдове титулярного советника князя Ф. И. Несвицкого, а от нее к сыну поручику лейб-гвардии Преображенского полка князю Ивану Федоровичу, умершему молодым, 24 лет, в 1787 г. Участок этот попал в купеческие руки и в 1828 г. был приобретен Х. Л. Лазаревым (и позднее присоединен к участку Лазаревского института).
К югу от этого участка находилась усадьба, принадлежавшая в конце XVII — начале XVIII в. «торговому иноземцу» шведу Андрею Николаеву Минтеру, владельцу стекольного и черепичного заводов; у него стояли каменные палаты, остатки кладки которых были найдены в цокольном этаже главного здания. От Минтера усадьба перешла также к сыну его Ивану, женатому на Анне Вахрамеевне, дочери заводчика В. П. Меллера (владельца северной части), потом к внуку, «торговому иноземцу» Елизару Избранту, строившему для Петра флот в Воронеже и Архангельске, и впоследствии к его сыну Петру. В 1725 г. усадьбу купил за 1050 рублей армянин Игнатий Францевич Шериман (Шериманян), прикупивший еще несколько дворов по соседству. Один из самых приметных предпринимателей в Москве «содержатель шелковой фабрики» завел ее еще по именному Петра I указу 1717 г.
В 1758 г. его сын Захарий Шериман продал ее Лазарю Назаровичу Лазареву за 4300 рублей, у которого здесь в деревянных покоях также работала шелковая фабрика.
Лазарев происходил из семьи богатых армян, переселившихся в Россию из города Новая Джульфа. Он прочно обосновывается в России. Благодаря предприимчивости и деловитости он и его потомки стали владельцами земель на Урале и многих фабрик. Лазарь Лазарев покупает у Шеримана мануфактуру в селе Фряново под Москвой и значительно ее расширяет, а его наследники, сыновья Иван и Еким, основывают в Армянском переулке армянское учебное заведение, жертвуя для него и земельный участок, и крупную сумму денег. Как писали о Лазаревых: «Они принадлежали к тому симпатичному классу людей из среды армян-богачей, которые, сами пользуясь материальным благосостоянием, не забывали заботиться об обездоленной своей братии».
Строительство здания началось в 1813 г., закладка происходила в мае 1814 г., и уже в следующем году в одном из зданий происходили занятия. Главное здание не было отстроено, однако до 1823 г. популярный журнал того времени «Северный архив» приветствовал окончание строительства: «…как наружность, так и внутренность огромного Учебного заведения заключают в себе красивую, правильную, при том в новейшем вкусе Архитектуру с удобным расположением. На доме находится фронтон, с одного фасада в колоннаде, а с другого в пилястрах; в приличных местах в барельефе изображены учебные символы с надписями… Принадлежности сего заведения суть: обширное новое здание с хорошим садом. Внутри сего прекрасного строения находится великолепная зала для учебного Собрания, классные покои, также для жительства учеников и учителей комнаты удобно расположенные…»
Автор проекта этого замечательного здания неизвестен, называются фамилии крепостных архитекторов Ивана Подьячева и Тимофея Простакова, но похоже, что они только наблюдали за строительством, а сам проект был сделан высокопрофессиональным и незаурядным мастером.
В саду за главным зданием в 1822 г. поставили обелиск в память основателей института. Сейчас этот памятник с надписями известного поэта XVIII в. А. Ф. Мерзлякова находится посередине парадного двора. На пьедестале рядом с беломраморным портретом Ивана Лазаревича Лазарева помещена эта надпись:
От древня племени Армении рожденный,
Россией-матерью благой усыновленный,
Гайканы! Ваших он сирот не позабыл!
Рассадник сей души признательной творенье,
Дарует чадам здесь покой и просвещение,
Отчизне той и сей он долг свой заплатил.
С левой стороны находится горельефный портрет Екима Лазаревича Лазарева:
Сей брата своего достойнейший ревнитель,
Начатый подвиг устроил, расширил.
Соплеменных покров безродных охранитель,
Для церкви, для наук, для бедных жил.
Чугунный монумент хранит имена других представителей знаменитого рода Лазаревых: «Анне Сергеевне Лазаревой, супруге Иоакима Лазаревича, пожертвовавшей знатный капитал в пользу Института.
Как добра мать сирот
С горячностью любила
И памятник себе
В сердцах их утвердила.
Лейб-Гвардии гусарского полка Штаб Ротмистру и Кавалеру Артемию Иоакимовичу Лазареву, пожертвовавшему знатный капитал в пользу Института.
Средь мира благ творец,
Гроза среди врагов,
Во цвете лет он пал
За Веру и Отцов».
Сына Иоакима и Анны Лазаревых Артемия назвали в память двоюродного брата, погибшего двадцати трех лет в русско-турецкой войне, но… причуда судьбы: и он погиб в двадцать два года в ожесточенной «Битве народов» войск Наполеона и союзников под Лейпцигом в 1813 г.
В 1828 г. Иван Екимович Лазарев присоединил к владениям Лазаревского училища и правый участок, стоявший на углу Кривоколенного переулка: «Коллежская асессорша Мария Александровна дочь Салтыкова запродала Ивану Екимовичу Лазареву собственный свой каменный дом со всеми землями и всеми строениями при оном без всякого изъятия ценою за пятьдесят тысяч рублей ассигнациями». В новоприобретенных зданиях создали оборудованную по последнему слову типографию, столь необходимую для просвещения армянского народа.
В 1840-х гг. флигели были соединены переходами с главным зданием.
В 1835 г. училище Лазаревых получило статус гимназии, а в 1848 г. стало Лазаревским институтом восточных языков. В нем преподавали крупные ученые, сделавшие значительный вклад в востоковедение — Ф. Е. Корш, В. Ф. Миллер, Н. О. Эмин, В. А. Гордлевский и др. Здесь учились писатели И. С. Тургенев, В. Г. Лидин, филологи Д. Д. Благой, Р. О. Якобсон, Р. И. Аванесов, режиссер К. С. Станиславский, государственные деятели М. Т. Лорис-Меликов, И. Д. Делянов, историки В. К. Трутовский и С. П. Мельгунов; при институте Микаэлом Налбандяном издавался журнал «Юсисапайл», сыгравший большую роль в просвещении армянского народа; при институте была и хорошо оборудованная типография (она помещалась к северу от главного здания). Библиотека Лазаревского института славилась в Москве — в ней находилось более 40 тысяч томов на армянском, русском, арабском, персидском, турецком и западноевропейских языках.
После Октябрьского переворота Лазаревский институт закрывается, и в главном здании обосновывается театральная студия, созданная Е. Б. Вахтанговым, где работал его ученик Рубен Симонов; с 1921 г. — Дом культуры Советской Армении, с которым связана деятельность знаменитого композитора Арама Хачатуряна и известного чтеца Сурена Кочаряна. В 1953 г. его закрывают, и сюда въезжает Институт востоковедения Академии наук СССР, работавший до 1977 г.
Угол с Малым Златоустинским переулком образует безобразное строение спортзала, построенное именно на том месте, где находилась одна из самых красивых церквей Москвы — Св. Николы, «что у Столпа».