Ивановичу и его предшественникам столько лет удавалось избегать, - страна должна была воевать на два фронта. Англия субсидировала Густава Ш и готовила свой флот для отправки в Балтийское море, на помощь королю. Пруссия поднимала Польшу против России и Австрии. Положение было критическим. Дело дошло до того, что отчаявшийся Потемкин советовал Екатерине вернуть султану Крым, заключить мир со Швецией и вновь вступить в союз с Пруссией. Страна выдержала и это испытание. Русские солдаты сначала отогнали Густава III от Петербурга, а потом взяли Очаков и Измаил, хотя стоило это немалой крови. Впрочем, Панину дожить до всего этого не привелось.
Лето 1781 года Никита Иванович провел в своем смоленском имении Дугино. Ему надо было отдохнуть после болезни, оставаться же в Петербурге не было никакого смысла. Мнение его императрицу, похоже, уже перестало интересовать. Когда в начале сентября он вернулся в столицу, то понял, что предчувствия его были верны. Вице-канцлер Остерман получил указ взять на себя управление Коллегией иностранных дел. 19 сентября уехал великий князь Павел вместе с августейшей супругой. Им предстояло долгое заграничное путешествие - сначала в Польшу, а оттуда в Вену, Неаполь, Рим, Париж, Брюссель. Екатерина, выждав, когда Павел уедет, решилась окончательно избавиться от Панина. /29/ сентября, в понедельник утром, он получил приказ отпустить секретарей и отдать все бумаги. Это была отставка. Одновременно он получил еще один, особенно чувствительный удар. Никита Иванович узнал, что двое из его секретарей, Марков и Бакунин, люди, которым он полностью доверял, любил и считал своими единомышленниками, предали его и переметнулись на сторону Безбородко. Это, должно быть, ускорило отставку Панина. Втроем они вполне могли заменить опального министра.
С этого времени здоровье его резко ухудшилось. Панин уже редко выходил из дому. Все, что у него осталось, - это немногие близкие, и среди них добрый Фонвизин, да нечастые письма от брата из Москвы, от Репнина и от Павла. В сентябре 1782 года Екатерина в последний раз почему-то вспомнила о Панине. По случаю 25-летия своего коронования она учредила орден св. Равноапостольного князя Владимира и наградила им знатнейших сановников империи. В их число вместе с Потемкиным, фельдмаршалом Румянцевым, Григорием Орловым, Репниным и другими попал Панин.
В ноябре из заграничного путешествия вернулся великий князь. В первый же день по приезде он вместе с женой отправился к Панину. Никита Иванович хоть и был слаб, но нашел силы выйти и целый вечер провести со своим бывшим воспитанником. Павел радовался возвращению на родину, беспрестанно шутил, дурачился, пародируя иностранных министров и монархов, словом, был в ударе. До того было хорошо и весело, что под конец Никита Иванович попросил великого князя взять серьезный тон - не было сил смеяться.
Панину еще многое хотелось сказать Павлу. Он ждал его со дня на день. Но проходили недели, месяцы, а от цесаревича никаких вестей, даже ни разу не прислал справиться о здоровье. Панин сначала волновался, не случилось ли что, потом было затаил обиду и наконец успокоился. Зачем обманывать себя? Павлу и без того хватает забот, чтобы помнить о больном и опальном старике.
Панин все реже поднимался с постели. Боли в животе приходили все чаще, особенно по ночам. Панин со страхом ощущал, как медленно разрушается, отказывается повиноваться его тело, а сердце, биение которого он слышал все чаще, вдруг пронизывает острая, едва переносимая боль, наполняющая душу ужасом и безнадежностью.
Каждый день приходил придворный врач, приносил какие-то порошки, рассказывал сплетни, пытаясь развлечь и обнадежить. Но по тому, как, пряча глаза, он торопился покинуть больного, Панин понимал, что дела его плохи. В те дни, когда болезнь ненадолго отступала, Никита Иванович звал Фонвизина и просил его взять перо и бумагу. Он диктовал понемногу, быстро уставал. Нет, Панин не собирался, подобно императрице, растолковывать потомкам значение своих деяний и свое место в истории. У него был один адресат - Павел. Если цесаревичу суждено будет занять трон, пусть он, увидя эти листы, вспомнит о том, чему учил его старый обер-гофмейстер. "Верховная власть, - записывал Фонвизин, - вверяется государю для единого блага его подданных... Государь... не может равным образом ознаменовать ни могущества, ни достоинства своего иначе, как поставя в государстве правила непреложные, основанные на благе общем и которых не мог бы нарушить сам... Он должен знать, что нация, жертвуя частью, естественно, своей вольности, вручила свое благо его попечению, его правосудию, его достоинству, что он отвечает за поведение тех, кому вручает дела правления, и что, следственно, их преступления, им терпимые, становятся его преступлениями".
Еще Панин говорил о том, что необходимо, наконец, начать постепенное освобождение крепостных, установить порядок наследования престола, создать выборный законодательный орган, ибо законодательная власть "может быть в руках государя, но с согласия государства, а не инако, без чего обратится в деспотизм..."
29 марта Панин почувствовал себя лучше, за обедом шутил, а после обеда сел в кресло у окна и долго глядел на Неву, должно быть, вспоминая о чем-то. И вдруг вечером нежданная радость - нагрянула великокняжеская чета. Были тут и объяснения, и слезы умиления, Нет, не забыли старика, просто боялись повредить, навлечь новые подозрения. На следующий день Никита Иванович снова был бодр и весел и все вспоминал своего воспитанника. Спать отправился поздно, а под утро, в четыре часа, последовал апоплексический удар. Тотчас послали за врачами и за великим князем, но проститься с умирающим Павел уже не успел. Утром 31 марта 1783 года граф Никита Иванович Панин скончался, не приходя в сознание. Когда цесаревич, неотлучно дежуривший возле постели Панина, увидел, что жизнь покидает старика, он упал на колени и, плача, прильнул губами к руке своего наставника.
Панина похоронили в Александро-Невской лавре, в церкви Благовещения. Траурная процессия оказалась на удивление многолюдной, были многие из тех, кто при жизни графа слыл в числе его недругов. Императрица на похороны не пришла.
