Документы были уничтожены, прецедента больше не существовало. Хорошо осведомленный через брата обо всем, что происходило во дворце, Алексей Григорьевич чутьем старого придворного понял, в какое трудное положение попала новая императрица и чего она от него ждет. Он пожертвовал самым дорогим, что у него оставалось — памятью о своей безвозвратно ушедшей молодости, сказочном счастье и горячо любимой женщине.
Екатерина II сумела по достоинству оценить этот благородный поступок, и все дальнейшее время своего пребывания в Москве подчеркивала исключительное расположение к Разумовскому, вела себя с ним как со старшим родственником, навещала, а когда он приезжал ко двору первая вставала ему на встречу и, прощаясь, всегда провожала его до дверей комнаты. Старый граф оказал ей неоценимую услугу, Орловым пришлось смириться и оставить хлопоты о браке.
Через несколько месяцев Екатерина II в сопровождении великолепной свиты отбыла в Петербург, а Алексей Григорьевич остался в старой столице на покое. Он был первым из русских отставных вельмож, кто не спрятался в своем подмосковном имении, а начал жить свободно, принимать у себя гостей, устраивать праздники, держать открытый стол. Разумовского очень любили в обществе, и теперь к нему с охотой ездили, и приглашали к себе. Гулянья в великолепном парке, вокруг его городского дома, куда вход был открыт, сделалось заметной чертой московского городского быта второй половины XVIII в. Жители старой столицы воочию видели, как бывший государственный деятель после заката своей яркой карьеры ведет светскую жизнь среди других людей.
Скончался Алексей Григорьевич 6 июля 1771 г., во время одной из поездок в Петербург, и был похоронен в Александро-Невской лавре. Для большинства пришедших его проводить в последний путь он был уже не вельможей, а просто человеком из общества.
5 октября 1770 г. в Петергофе на великолепном празднике в честь взятия Бендер Екатерина II пожаловала графа Петра Ивановича Панина орденом св. Георгия 1-ой степени. Возлагая на командующего 2-й армии генерал-аншефа Панина знаки недавно учрежденного ею воинского ордена, императрица не испытывала удовольствия. До нее давно доходили слухи о том, что Петр Иванович любую преграду берет, не считаясь с потерями. Теперь эти слухи подтвердились: осада Бендер была долгой, даже по официальным донесениям погибло более 6 тысяч человек, а после штурма 16 сентября 1770 г. город отдали на разграбление армии-победительнице.
Не был доволен полученной наградой и сам герой. Есть сведения, что Панины мечтали о фельдмаршальском жезле для Петра Ивановича. Не получив желаемого, покоритель Бендер подал в отставку 19 октября 1770 г. и уехал в Москву. Столь резкая отставка, всего через несколько дней после награждения, выглядела как политический демарш. Генерал Панин был фигурой настолько заметной, что о его поступке сообщили своим дворам все иностранные представители в Петербурге. Императрица направила главнокомандующему старой столицы князю Михаилу Никитичу Волконскому строжайшие инструкции следить за деятельностью Панина в Первопрестольной.
Один из виднейших русских масонов своего времени, Петр Иванович Панин вместе с своим братом — главой Коллегии иностранных дел Никитой Ивановичем Паниным долгие годы руководил прусской партией при петербургском дворе. При всей внешней несхожести братья как нельзя лучше дополняли друг друга: мягкий, вкрадчивый, неторопливый дипломат и мрачный неразговорчивый генерал с крутым решительным характером подчинили своему влиянию всех сторонников наследника престола, великого князя Павла Петровича. Чем ближе становилась роковая дата совершеннолетия Павла, тем большее число знатных особ желало влиться в ряды его приверженцев. К началу 1770-х гг. партия Паниных набрала небывалый политический вес и начала заметно теснить своих противников — Орловых.
Главнокомандующий Москвы М. Н. Волконский учредил за Петром Ивановичем «присмотр надежных людей», как он сообщал императрице. Так генерал Панин попал под негласный надзор — случай в политической практике екатерининского царствования не частый. По всему было заметно, что императрица видела в брате канцлера серьезного противника. Согласно донесениям Волконского, в Москве Петр Иванович подвергал строгой критике правительственные меры, подрывая в дворянских кругах старой столицы доверие к императрице, и настойчиво твердил, что в 1772 г., после совершеннолетия сына, Екатерина II передаст ему корону. Результатом этой деятельности Панина стало изменение общественного мнения старой столицы в пользу наследника престола. В 1771–1772 гг. подобные слухи достигли своей кульминации. Московские поэты-масоны А. П. Сумароков, В. И. Майков и И. Ф. Богданович обращались к Павлу Петровичу с одами, подчеркивая предпочтительность мужского правления перед женским, отмечались черты характера цесаревича, присущие истинному государю, восхвалялись воспитатель наследника — Н. И. Панин — и «незабвенный завоеватель Бендер» — П. И. Панин. Таковы были явные знаки подспудных брожений в дворянском обществе старой столицы.
Но имелась и другая, тайная, сторона жизни Петра Панина в Москве, которую даже «надежные люди» Волконского заметить не могли в силу ее полной конспиративности. Шифрованная переписка генерала с Денисом Ивановичем Фонвизиным, секретарем и ближайшим сотрудником Никиты Ивановича Панина в Петербурге — это ценный эпистолярный комплекс, который исследован в наши дни историком О. Ф. Соловьевым. Письма Фонвизина с февраля 1771 по август 1772 гг. предоставляли Петру Панину подробную информацию о политической жизни двора, о ходе войны с Турцией, передвижениях чиновников по службе. По приказу Никиты Ивановича, Фонвизин снимал копии с многочисленных документов, проходивших через Коллегию иностранных дел, особенно с инструкций императрицы послам России за границей и отчетов последних в Петербург, донесений с театра военных действий, докладов братьев Орловых и других противников Паниных, и через специальных курьеров отправлял их в Москву Петру Ивановичу. Заметьте — Денис Иванович передавал государственную информацию секретного характера частному лицу. На такое вопиющее нарушение служебных инструкций, Фонвизин мог пойти лишь, будучи уверен в своей безнаказанности. Такую уверенность давала надежда на скорое изменение положения «царствующей особы» на российском престоле. Главную роль в грядущих переменах сторонники наследника отдавали Петру Панину.
Кем же был человек, который, находясь в отставке и внешне пребывая не у дел, держал в своих руках нити обширного государственного заговора и двигал из старой столицы, как марионеток на сцене, фигуры в Петербурге?