Граф Воронцов не только брал на себя многие расходы по содержанию Мисхора, но и оплачивал карточные долги Нарышкина. В 1829 году у Нарышкиных родился долгожданный ребенок, девочка, которую назвали Софьей.
Злые языки утверждали, что она дочь Михаила Воронцова. Действительно, Софья Львовна Нарышкина имела куда большее сходство с Воронцовым, чем его собственные дети. Портреты Ольги Станиславовны и ее дочери всегда хранились среди сугубо личных вещей Воронцова и даже стояли на рабочем столе парадного кабинета Алупкинского дворца.
В 1834 году А. Пушкин записал в своем дневнике о том, что услышал от приехавшего из Одессы чиновника Я. Д. Бологовского: «Болховской сказывал мне, что Воронцову вымыли голову по письму Котляревского (героя). Он очень зло отзывается об одесской жизни, о графе Воронцове, о его соблазнительной связи с О. Нарышкиной etc. etc. – Хвалит очень графиню Воронцову».
Частная жизнь всегда интересует обывателей больше, чем что-либо другое, а частная жизнь людей публичных – тем более. Но не стоит забывать, что ничто человеческое никому не чуждо. И остаются в памяти истории дела, поступки, воинская доблесть и гражданский долг.
Вступив в должность губернатора, Михаил Воронцов начинает скупать в Крыму обширные угодья, особенно на южном берегу. К 1823 году ему принадлежали поместья в Мартьяне, Ай-Даниле, Гурзуфе. В 1824 году Воронцов приобретает Алупку и решает сделать ее своей летней резиденцией. Дворец в Алупке, настоящий замок в романтическом стиле, о его красоте и роскоши убранства, об окружавшем его великолепном парке с восторгом вспоминали все, кому доводилось здесь побывать.
Елизавета Ксаверьевна взяла на себя все заботы по художественному оформлению дворца и парка. Обладавшая тонким художественным вкусом, воспитанная на лоне одного из прекраснейших парков Европы, она старалась вникать в мельчайшие детали создаваемых в Алупке пейзажей. Она принимала живейшее участие в художественной жизни и Одессы тоже, в созданном в 1865 году Одесском Обществе изящных искусств, объединившем в себе художников и музыкантов.
В 1837 году, во время поездки по югу России, в Алупке останавливались Николай I, Александра Федоровна и их старшая дочь княжна Мария. Во время импровизированного спектакля, который устраивали в честь гостей, графиня Воронцова, играя на фортепиано, заменяла собой целый оркестр.
Жизнь Воронцовых во дворце на берегу моря, по словам Вигеля, можно было сравнить с житьем «владетельного немецкого герцога». Двери их дворца были широко открыты для местного общества, и на роскошные балы и приемы допускались не только представители аристократии и чиновничества, но и иностранные негоцианты и банкиры. Своею неизменною приветливостью, роскошью нарядов и драгоценностей Елизавета Ксаверьевна затмевала бывших светских «цариц» Одессы, графинь Гурьеву и Ланжерон, и была для них «острым ножом в сердце».
Среди окружения четы Воронцовых было много художников. Воронцовы покровительствовали театральному декоратору А. Наннини, архитектору Г. Торичелли, художникам Н. Черенцову, К. Боссоли, И. Айвазовскому, Г. Лапченко, К. Гальперну. На собственный счет их обучали, посылали за границу, поощряли заказами и рекомендациями другим лицам.
Воронцовы использовали каждый выезд за пределы России, чтобы приобрести новые картины, книги, археологические редкости.
Осенью 1826 года Воронцов, вместе с Рибопьером, принял участие в съезде уполномоченных представителей в Аккермане для урегулирования отношений между Россией и Оттоманской Портой.
За успешное проведение этих переговоров с благоприятными для России условиями он был награжден алмазными знаками ордена Св. Александра Невского.
Турция, однако, не пошла на требуемые союзниками уступки, и весной 1828 года Россия объявила Турции войну. Николай I приказывает находящимся в Бессарабии русским войскам вступить в турецкие владения, и 16 августа 1828 года Воронцов из Одессы отправляется в район военных действий под Варну. 29 сентября русские войска заняли все бастионы крепости, которую до этого никто не мог взять. За эту операцию М. С. Воронцов был награжден осыпанной бриллиантами золотой шпагой с надписью: «За взятие Варны». В кампанию 1829 года, благодаря содействию Воронцова, войска, действовавшие в Турции, безостановочно получали необходимые запасы. Чума, занесенная из Турции, не проникла вглубь Российской империи во многом благодаря энергичным и вовремя предпринятым мерам Воронцова.
В 1834 году за неустанные гражданские труды и военные заслуги графу Воронцову был пожалован орден святого Андрея Первозванного. Он стал третьим в роду Воронцовых, удостоенным этой высшей русской награды.
27 ноября 1844 года находившийся в Алупке Воронцов получил личное послание императора, в котором тот сообщал ему об обострении ситуации на Кавказе, где среди разобщенных племен появился лидер, сплотивший всех под своим началом.
Во главе горцев стал имам Шамиль – хитрый и смелый человек, объединивший под своей религиозной властью фанатичных горцев и обнаруживший в успешном ведении войны с русскими определенный военный талант.
Император Николай Павлович в письме Воронцову подчеркивал, что, ввиду особого уважения к нему желает знать мнение графа по этому поводу, и только затем обнародовать приказ о его назначении. Воронцову шел тогда 63-й год. Прочитав письмо, Михаил Семенович произнес слова, в которых содержался основной смысл жизни графа: «Я был бы не русский, если б посмел не пойти туда, куда царь велит». Так он стал главнокомандующим русских войск на Кавказе и одновременно кавказским наместником с неограниченными полномочиями, не будучи освобожденным при этом от управления Новороссией и Бессарабией.
7 марта 1845 года Михаил Семенович выехал из Одессы к месту нового назначения и через две недели прибыл в Тифлис.
Прибыв в Тифлис 25 марта 1845 года, он вскоре отправился на левый фланг Кавказской линии, для принятия начальства над войсками, готовившимися к походу против Шамиля. После занятия Андии, сопряженного с величайшими затруднениями, войска, под личным предводительством Воронцова, двинулись к временной резиденции Шамиля – аулу Дарго. Овладение этим пунктом и в особенности дальнейшее движение через дремучие Ичкерийские леса сопровождались большими опасностями и огромными потерями. Экспедиция известная как «Сухарная» или «Даргинская», по сути, не достигла цели, так как Шамиль благополучно ушел из аула, а само селение было сожжено до подхода русских войск. Отставший обоз был уничтожен, и дальнейшее отступление привело к потере большей части отряда. Вот как отозвался о тех событиях очевидец писатель Арнольд Львович Зиссерман: «Какое впечатление произвел исход всей большой экспедиции 1845 года на наши войска, на преданное нам христианское население Закавказья и на враждебное мусульманское, может себе всякий представить. О торжестве Шамиля и горцев нечего и говорить. Таким образом, повторяю, не будь это граф Воронцов, пользовавшийся большим доверием и уважением государя Николая Павловича и стоявший выше влияния интриг даже могущественного Чернышева, вероятно с окончанием экспедиции окончилась бы и его кавказская карьера…»
