Мы еще не раз будем иметь случай обращаться к драгоценным запискам Порошина. Ведение этих записок автор считал своею обязанностию, имея при этом воспитательную цель. Он их читал великому князю, «который несказанно был доволен и с крайним вниманием изволил слушать. Говорил только о некоторых касающихся до него правдах, нельзя ли их выпустить». Порошин отвечал со смехом, что есть пословица: из песни слова не выкинешь. К несчастию, записки Порошина обнимают только два года — 1764-й и 1765-й. В конце последнего года из записок видим, что против автора их уже ведется интрига. Порошин говорит очень темно об интриге, лиц не называет. Можно видеть только, что, выдаваясь слишком резко из толпы своими достоинствами, отличаясь добросовестностию, желанием быть как можно чаще с наследником и служить ему своими советами и сведениями, Порошин приобрел сильное влияние на впечатлительного ребенка. Нашлись люди, которым это не понравилось и которые постарались произвести холодность между великим князем и Порошиным. Мы видели, как Порошин отнесся к предложению завести куртаги у наследника; как видно, он находил, что великий князь и без того имеет много рассеяний, вредных для сериозных занятий; так, в записке занесено: «У меня очень дурно учился, так что я, брося бумаги, взял шляпу и домой уехал. Причины дурному сегоднишнему учению иной я не нахожу, как ту, что учиться он начал несколько поздно, а после моих лекций оставалося еще фехтовать и сходить за ширмы подтянуть чулки и идти на концерт. И так боялся и нетерпеливствовал, чтоб не опоздать». Встречаем и такие жалобы Порошина на своего воспитанника: «Говорил все о штрафах, и я бранил его за то: „С лучшими намерениями в мире вы заставите ненавидеть себя, государь“. Очень стал ветрен». В конце месяца Порошин записал: «На меня все-таки сердит». А ребенок жаловался, что ему мало развлечений, зачем в вольный маскарад его не водят, жилище свое в горести называл монастырем Павловским, Никиту Ив. Панина настоятелем, а себя вечно дежурным монахом. С другой стороны, завистливые кавалеры указывали Панину, что Порошин забрал себе слишком много влияния на великого князя. Порошин рассказывает такой любопытный случай: «Я не был сегодня дежурным, однако государь цесаревич просил меня, чтобы пришел я к нему и поговорил с ним о чем-нибудь или бы что прочитал ему. Его высочество откушал у себя в опочивальне один. Пошли мы за Никитою Ив. за большой стол обедать; с великим князем остался дежурный кавалер, мой товарищ. Из-за стола хотел было я итить к государю цесаревичу, дабы оный дежурный мог отойтить обедать, но вместо меня кавалер, который был поддежурный, захотел сам итить к его высочеству, так, как ему и следовало. Не противоречил я в том нимало, не хотя из такой безделицы сделать другому огорчение; так и сделалось. Пошел он другова сменить, а тот на ево место пришел обедать. Как обед наш совсем кончился, пришли мы все за Никитою Ив. к его высочеству в опочивальню. Лишь вошел я, то приметил, что его высочество весьма раздражен и на вышеупомянутова поддежурнова кавалера смотрел очень косо. Подошед, спрашивал я государя цесаревича, что он так гневен. Изволил отвечать мне, указывая на оного кавалера: „Вот дурак-от на меня сердится, что я тебя люблю“. До того дошло, что его высочество жаловался Никите Ивановичу на поддежурнова оного кавалера, что он на него сердится. Кавалер поддежурной, к немалому моему удивлению, совсем из себя выступя, говорил его превосходительству, что как скоро пришел он из-за стола к великому князю сменить другова, то его высочество, осердясь, сказал ему: „Зачем тебя черт принес, для чего не пришел ко мне Порошин?“ Еще в жару своем продолжал оный кавалер, что его высочество по большей части изволит всегда разговаривать со мною (т.е. с Порошиным), что гневается, когда другой подойдет тут, что изволит говорить, что они все меня ненавидят за то, что он меня любит, что изволит браниться и говорить, что, как бы они меня ни ненавидели, он еще больше любить меня будет назло им, что и сам-де Никита Иванович приказывает ему (Порошину) давать мне (великому князю) наставления, а мне его слушаться и пр. Никита Иванович кричал на великого князя, для чего он так неучтиво с кавалером своим обходится; что ежели он так поступает, то его превосходительство запрещает, чтоб с ним один на один никто не оставался, что очень дурно его высочеству так изъясняться, а что и того дурнее, ежели оные ево речи происходят от каких внушений ». Под 8 ноябрем 1765 года записан любопытный разговор: «Из посторонних обедал у нас только Иван Перфильевич Елагин. Как я между прочим подшпынял над его высочеством, что он на блюдо трески изволит смотреть с крайним аппетитом, а, может быть, кушать ее не дадут, то, будучи тем несколько тронут, изволил он говорить: „Ну, пусть это так: теперь позволь же мне и про тебя нечто сказать. Знаете ли, сударь Никита Иванович, что вы ему больше досады сделать не можете, как ежели зачнете говорить с ним по-немецки; насмерть этого языка не любит“. Говорил я на то, что не любить мне его не для чего, а что редко говорю, это оттого, что случаев к тому мало имею. Иван Перфильев примолвил к тому: „Для чего ему не любить немецкого языка? Он в нем очень силен и по-немецки говорить великий мастер“. На сие сказал я Ивану Перфильевичу, что бывают часы, когда и никаким языком говорить не хочется. Никита Иванович очень в сие вслушался, чего мне и хотелось, потому что с тем намерением и сказал я то».
Интрига достигла своей цели. Спустя несколько времени встречаем в записках жалобу Порошина на холодность великого князя и на придворные шутки, а под 3 декабрем записано: «Когда я дежурный, то прежде, нежели чай сберут, изволит его высочество обыкновенно сам входить ко мне и разговаривать со мною. Сего утра того не было, и как я вошел к государю цесаревичу, то он, принявши меня очень холодно и долго бывши в молчании, изволил наконец сам перервать сие молчание и спросить меня: „А что это значит, что я перед чаем не вошел к тебе?“ Ответствовал я, что лучше о том надобно знать его высочеству; что я вижу, что его высочество на меня сердится, а за что — подлинно не знаю. На сие изволил мне говорить государь цесаревич с некоторым жаром: „Ты это заслуживаешь: знаю я теперь, что все то значило; что ты прежде ни говорил со мною, и я уже обо всем рассказал Никите Ивановичу“. Рассказано было и о записках. „Во время оных перетолкований его высочеству речей моих и рассуждений, на справедливости и усердии основанных, — говорит Порошин, — привели государя цесаревича, что и о журнале моем рассказать он изволил (хотя прежде и обещался, чтобы никому об оных не сказывать, и доныне ненарушимо хранил свое обещание), думая, что и то будет служить мне в предосуждение и в обличение коварных моих, как они называли, умыслов; и в самом деле, и о сих записках уверили его высочество, что они со временем будут только служить к его стыду и посрамлению“. Панин потребовал записки. Если он и прежде по известным внушениям переменил свой взгляд на Порошина, то записки окончательно должны были оттолкнуть его от их автора. В них на первом плане великий князь и Порошин; о Панине говорится с уважением, но нравственное значение его не выдается вперед. Некоторые из лиц, посещавших великого князя, выставлены беспощадно с точки зрения автора записок, что не могло не обеспокоить Панина, тем более что некоторые из этих лиц были очень крупны и Порошин назначал записки для чтения великому князю; могло показаться опасным и неприятным, что малейшее слово всех посещавших наследника, слово, сказанное невзначай (в том числе и каждое слово самого Панина), было записано и будет потом возобновлено в памяти великого князя, а может быть, передастся и кому-нибудь другому. Панин был откровенен с Порошиным в своих отзывах о лицах высокопоставленных, и все это было записано, например: „Никита Иванович изволил долго разговаривать со мною о нынешнем генерал-прокуроре кн. Вяземском и удивляться, как фортуна его в это место поставила: упоминаемо тут было о разных случаях, которые могут оправдать сие удивление“.
Под 28 декабрем 1765 года Порошин записал: «Хотя и была у меня с его высочеством экспликация, однако после тех интрижек и наушничеств все еще не примечаю я к себе со стороны его высочества той доверенности, той горячности и тех отличностей, которые прежде были. От Никиты Ивановича поднесенных ему тетрадей записок не получил я еще и никакого об них мнения, ни худого ни доброго, не слыхал от его превосходительства. При таких обстоятельствах продолжение сего журналу становится мне скучным и тягостным. Если они не переменятся, то принужден буду его покинуть, дабы употребить это время на то, что авось либо более к спокойствию моему послужит».
В начале 1766 года Порошин вдруг был удален от двора великого князя и получил приказание отправиться на службу в Малороссию. В письме Фон-Визина к сестре находится приписка: «Порошин удален от двора за невежливость, оказанную им девице Шереметевой». Вот все, что мы знаем о предлоге удаления. В страшной, неожиданной беде, которая отнимала у него все будущее, все будущее его семейства, пятнала бесчестною опалою, прогнанием от двора, Порошин обратился с просьбою о защите к графу Григор. Григор. Орлову, о недоброжелательстве которого к Панину постоянно твердили современники. Но Орлов, несмотря на всю свою силу, не мог ничего сделать. Панин в это время пользовался неограниченным доверием императрицы, она считала его непогрешительным и потому необходимым в делах внешней политики и не могла позволить сделать ему какую-нибудь неприятность. Мы видели отношения Екатерины к Панину в письме ее к нему по поводу письма Станислава Понятовского к Фридриху II о таможне. Приведем еще любопытный документ. Русский посол в Варшаве князь Репнин в письме своем к Панину изъявлял беспокойство по поводу какой-то неизвестного рода опасности, грозившей Панину. Последний отвечал ему (12 февраля 1765 г.): «Я сколь сердечно чувствую ваше дружеское обо мне смятение, столь и сожалею, что скаредный случай известного лекаря вам оное воспричинствовал. Пожалуй, мой друг сердечный, будь спокоен и уверен, что все, кроме моего презрения, ничего не заслуживает». Екатерина приписала к этим строкам: «А я, Екатерина, говорю, что Панину бояться ничего» (т.е. бояться нечего). Никита Иванович в приятном убеждении, что ему бояться нечего, позабыл об императорском совете и однажды, когда говорили о казни Лопухиных, также о временах Анны Иоанновны, делал такую рефлекцию, что «ежели бы и теперь их братьи боярам дать волю и их слушаться, то б друг друга и нынче сечь и головы рубить зачали. И так в иных строгостях винили министерство».