Также заботливо относился Роман Илларионович и к младшему сыну Семену и к его супруге Екатерине Алексеевне. Известно, что когда Р. И. Воронцов скончался, Екатерина Алексеевна плакала о нем, как о родном отце.
Существует некоторая путаница при указании губерний, подчиненных графу Р. И. Воронцову. Согласно документам, в 1778 году он был назначен первым в истории Владимирским генерал-губернатором, а затем, с образованием Владимирского наместничества стал наместником Владимирским, Тамбовским и Пензенским. В 1782 году к Владимирскому было присоединено Костромское наместничество, так что последний год жизни Роман Илларионович пребывал в должности еще и Костромского наместника. Именно Владимирским и Костромским наместником граф Р. И. Воронцов указан в тексте надгробия над его могилой в Дмитриевском соборе Владимира.
Итак, двух старших дочерей, Марию и Елизавету сначала воспитывал дядя, потом императрица Елизавета определила ко двору: старшую Марию, симпатичную скромницу, сделала своей фрейлиной, а некрасивую и перенесшую оспу Елизавету сделала фрейлиной великой княжны Екатерины Алексеевны. Сыновей забрал к себе дед-Воронцов, а младшую – Екатерину (будущую любимицу (ли?) Екатерины и президента Академии наук) дядюшка Михаил Воронцов воспитывал вместе со своей единственной дочерью.
Уже упоминалось, что в исторической мемуаристике часто поднимался вопрос, хорошим ли отцом был Роман Илларионович Воронцов? Да, известно, что детей его учили иностранным языкам, географии и танцам, они посещали французскую оперу. Он хотел сделать из них государственных деятелей, полезных Отечеству. Разумеется, это касалось прежде всего сыновей. Старшего сына своего, Александра, он в 1758 году отправил на учебу в аристократическую школу в Версале. Там обучались дети самых родовитых французских сановников. Второй сын Романа Илларионовича, Семен, должен был в дальнейшем заняться управлением отцовскими имениями (от Подмосковья до Тобольска и Астрахани). Дружеские отношения императрицы с семьей Романа Воронцова сохранились на всем протяжении ее царствования. Она даже стала крестной матерью внучки Романа Илларионовича, которая родилась у его дочери Марии.
У Романа Воронцова были и еще дети, родившиеся в период его вдовства от англичанки Елизаветы Брокет. Эти «дети любви» получили фамилию Ронцовы, т. е. часть своей фамилии, что было вполне распространенной практикой для незаконнорожденных детей. То же было и с родом Трубецких, например. Государственный деятель той эпохи И. И. Бецкой, внебрачный сын генерал-фельдмаршала князя Ивана Юрьевича Трубецкого, сокращенную фамилию которого впоследствии получил. Нередко дети, рожденные вне брака, были любимыми, получали превосходное воспитание и образование. Поэтому образ несчастного сиротки-бастарда, всеми гонимого, особенно законными наследниками, столь любимый писателями, не всегда соответствует действительности. Вот и у Воронцова эти дети «пользовались особенною нежностью своего родителя, так что на них уходило его состояние».
Замечательный русский писатель Александр Иванович Герцен – плод любви богатого помещика Ивана Алексеевича Яковлева, ведущего свой род от Андрея Кобылы, как и Романовы, и 16-летней красавицы-немки, дочери мелкого чиновника. Брак не был оформлен, и Герцен носил фамилию, придуманную отцом: Герцен – «сын сердца» (от нем. Herz).
Дворянские привилегии, разработанные придворной комиссией под руководством Романа Воронцова при императрице Елизавете, тогда не получили поддержку в Сенате. Но Воронцовы не отказались от борьбы за свою программу. Уже догадываясь о скорой кончине императрицы, Роман Воронцов сознательно затягивал доработку Положений о дворянстве, так как надеялся, что их одобрит преемник Елизаветы. Он рассчитывал на то расположение, которым одаривал его дочь великий князь, а впоследствии император Петр III. И действительно, с восшествием на престол Петра, Воронцовы получают все новые почести и награды.
Можно встретить мнение исследователей, что императору Петру Федоровичу просто не дали развернуться на арене российской политики могущественные противники из клана Екатерины. Действительно, краткое правление императора было наполнено событиями противоречивыми и интригующими. Первыми шагами императора всероссийского Петра III были ликвидация Тайной канцелярии и издание Манифеста о вольности дворянской, что, по свидетельству современников, было прямым следствием влияния Романа Воронцова и его дочери Елизаветы. Эти указы прогрессивным дворянством были встречены с восторгом и благодарностью и сильно укрепили позиции в общем-то нелюбимого обществом «голштинца». Все это серьезно беспокоило Екатерину II и ее «группу поддержки», которые рассчитывали, что смещение непопулярного императора произойдет легко и быстро. На руку екатерининской партии сыграл тот факт, что у Петра III не было собственной программы реформ. Его политические и экономические преобразования были столь же хаотичны и непоследовательны, как и все остальные действия.
Петр III в жизни руководствовался в основном эмоциями, а в политике – чужими законодательными идеями.
Поэтому Воронцовы (Роман и его брат Михаил) и постарались максимально использовать свое влияние для реализации именно тех близких им проектов, которые разрабатывались еще в эпоху Елизаветы, но не были ею одобрены. Этим-то и можно объяснить принятие первых манифестов и указов, столь положительно воспринятых дворянским обществом. Указы, созданные ближним кругом, в том числе и Воронцовыми, и под его влиянием принятые молодым государем, во многом сформировали принятый в некоторых исторических кругах образ Петра III как перспективного реформатора, беспокоившегося о благе России.
Во время переворота Воронцовы вместе с остальным двором Петра III находились в Ораниенбауме. Утром 28 июня все придворное общество направилось на празднование Дня святых Петра и Павла в Петергоф, где располагалась императрица Екатерина II. Ее неожиданное отсутствие вызвало тревогу и беспокойство. Н. С. Трубецкой, канцлер М. С. Воронцов и А. И. Шувалов отправились в Петербург – привезти точные сведения. Петр III согласно их воспоминаниям впадал попеременно то в гнев, то в панику. По его распоряжению граф Роман Воронцов и секретарь Дмитрий Волков пишут именные указы и воззвания к армии и народу. Петр подписывает их прямо на поручне канального шлюза. Елизавета Воронцова пытается его успокоить, но безрезультатно: желание «стереть в порошок» изменницу сменяется у императора горьким осознанием того, что ни армия, ни двор, ни народ его не поддержат… Увы, прозрение наступило слишком поздно. Отчаянию императора нет границ, а со временем оно переходит в уныние и пассивность.
