В начале 1766 года Порошин вдруг был удален от двора великого князя и получил приказание отправиться на службу в Малороссию. В письме Фон-Визина к сестре находится приписка: «Порошин удален от двора за невежливость, оказанную им девице Шереметевой». Вот все, что мы знаем о предлоге удаления. В страшной, неожиданной беде, которая отнимала у него все будущее, все будущее его семейства, пятнала бесчестною опалою, прогнанием от двора, Порошин обратился с просьбою о защите к графу Григор. Григор. Орлову, о недоброжелательстве которого к Панину постоянно твердили современники. Но Орлов, несмотря на всю свою силу, не мог ничего сделать. Панин в это время пользовался неограниченным доверием императрицы, она считала его непогрешительным и потому необходимым в делах внешней политики и не могла позволить сделать ему какую-нибудь неприятность. Мы видели отношения Екатерины к Панину в письме ее к нему по поводу письма Станислава Понятовского к Фридриху II о таможне. Приведем еще любопытный документ. Русский посол в Варшаве князь Репнин в письме своем к Панину изъявлял беспокойство по поводу какой-то неизвестного рода опасности, грозившей Панину. Последний отвечал ему (12 февраля 1765 г.): «Я сколь сердечно чувствую ваше дружеское обо мне смятение, столь и сожалею, что скаредный случай известного лекаря вам оное воспричинствовал. Пожалуй, мой друг сердечный, будь спокоен и уверен, что все, кроме моего презрения, ничего не заслуживает». Екатерина приписала к этим строкам: «А я, Екатерина, говорю, что Панину бояться ничего» (т.е. бояться нечего). Никита Иванович в приятном убеждении, что ему бояться нечего, позабыл об императорском совете и однажды, когда говорили о казни Лопухиных, также о временах Анны Иоанновны, делал такую рефлекцию, что «ежели бы и теперь их братьи боярам дать волю и их слушаться, то б друг друга и нынче сечь и головы рубить зачали. И так в иных строгостях винили министерство».
Несмотря на то что Орлов не мог ничего сделать для Порошина, тот полагал на него большую надежду в будущем и перед отъездом писал ему: «Хотя по великодушному и милостивому вашего сиятельства за меня заступлению желаемого ныне и не последовало, но благодарность моя за ваши ко мне благодеяния столь же велика, как бы я и получал все, о чем ваше сиятельство предстательствовали. Я более утруждать ее императорское величество уже не осмеливаюсь. Конечно, я прежними повторительными за меня великодушных людей прошениями еще больший гнев на себя обратил… Клянуся сердцеведцем Богом и честию, что, кроме моего проступка, о коем ваше сиятельство ведать изволите, ни малейшего преступления за собой не знаю; а видно, что по каким-либо внушениям донесено ее величеству что-нибудь большее… Вы великодушным своим предстательством, хотя несколько времени спустя, доставить можете возмущенному моему духу спокойство. Не предайте меня забвению».
На дороге к месту нового назначения, в Москве, 3 мая Порошин написал другое письмо к Орлову: «Имея ныне верный случай писать, не мог я преминуть, чтоб не писать к вашему сиятельству. Перемена моего состояния, будучи мне столь тягостна и чувствительна, беспрестанно побуждает меня озираться на прошлые дела свои и разбирать, какие б между ими могли быть причиною сего несчастного в жизни моей происшествия. Вижу и слышу, что о поступках моих при государе цесаревиче сделано такое описание, от коего теперь я стражду; размышляя о них, сужу себя без всякого самолюбия и потворства и, повторя стократно грустное таковое упражнение, не нахожу ничего, что б могло служить к моему предосуждению. С самого моего вступления ко двору его императорского высочества обратил и посвятил я на то все свои силы, чтоб быть государю великому князю полезным и тем бы, сколько от меня зависело, споспешествовать высокоматерним намерениям ее императорского величества и сладчайшему упованию всего российского общества. При его высочестве служил я около четырех лет. Во все сие время был при нем почти безотлучно и с ущербом собственных своих забав и удовольствий, на которые влекли меня и лета мои, и бесчисленные случаи, старался не упустить из виду оного своего предмету. По сему побуждению испросил я сам для себя должность, чтоб предлагать государю великому князю нужные для военного искусства математические науки, писал для его высочества особый курс, в котором заключались: арифметика, геометрия, начальные основания механики и гидравлики, фортификация с атакою и обороною крепостей, артиллерия и правила тактики. Арифметику государь великий князь всю почти с доказательствами у меня окончил и в геометрии сделал начало. Оный курс намерен я был вместе с учебными математическими тетрадями руки его высочества поднесть ее императорскому величеству. Кроме сего приуготовлял я сочинение, названное мною „Государственный механизм“. В оном хотелось мне для его высочества вывесть и показать разные части, коими движется государство, изъяснить, например, сколько надобен солдат, сколько земледелец, сколько купец и проч. и какою кто долею споспешествует всеобщему благоденствию, что не может государство быть никоим образом благополучно, когда один какой чин процветает, а прочие в небрежении. Расположение сего сочинения было уже у меня и сделано. Оным же главным своим намерением упражняясь, начал я с некоторым человеком (Платоном?), почтенным от всех за его учение и преизящные дарования, переписку о разных нравоучительных и исторических материях, которую сбирались мы напечатать и поднесть его высочеству. Сверх всего сего, ведая, что в детских его высочества летах не всегда приятно и весело слушать формально предлагаемые истины и знания, старался вмешивать и доводить до него оные, сколько смыслил, во всех моих повседневных с ним обращениях и разговорах, иногда так, чтоб и самому его высочеству то неприметно было, дабы не навесть скуки и отвращения. В таковых случаях кроме всяких исторических сведений и анекдотов, кроме многих правил о красоте российского языка, которые нечувствительно тщился я подавать государю цесаревичу, наблюдал, чтоб в его высочестве осталось за закон и основание, чтоб рассматривать и отличать прямые достоинства, не ослепляясь блистательною и часто обманчивою наружностью, чтоб любить народ российский, отдавая потом справедливость каждому достойному из чужестранных, чтоб тверду и непоколебиму быть в глубоком почтении туды, куды оным его высочество должен. Во всех таковых своих упражнениях то имел за единственное себе ободрение и утешение, чтоб заслужить со временем высочайшее благоволение всемилостивейшей и премудрой самодержицы. Теперь истинно не могу удержать слез своих, что посреди такового тихого и, как бы казалось, не непохвального течения ввержен в наилютейшее беспокойство, приведен под гнев у ее императорского величества. Удар сей тем мне несноснее, что поражен им внезапно и нечаянно и по оному своему поведению мог ли ожидать того, примите в милостивое рассуждение! Правда, что и прежде сего по оным всегдашним моим с государем цесаревичем обращениям, будучи я от его высочества почтен особливою склонностью и милостию, видел, что то завистливому невежеству неприятно было, и принужден был сносить иногда от оного некоторые притеснения, кои, однако ж, презирал я и ни во что ставил. Случилось, например, некогда, что его высочество, уверяя меня с отменною горячностию, что он меня жалует, услышал, что я ему говорю, что тому не верю, потому что изволит говорить, что жалует, а когда в излишности его увеселений или в невнимании при ученьи уговаривать станешь, так иногда не изволит и слушать. Сам государь великий князь так был тронут, что изволил дать мне слово, чтоб всегда меня слушаться. И подлинно, долгое время от сего успех я видал: как скоро об оном потом договоре напомяну ему, то, верно, изволит послушаться и отстать от той неприличности, в коей его оговаривал. Сие безвинное и почти шуточное для его ж высочества пользы положенное условие было перетолковано так, что будто я хочу, чтоб только великий князь меня одного слушался, и мне б только следовал, и, одним словом, чтоб делал все то только, чего я ни захочу. Были тут прибавлены и другие тому подобные перетолки и низости, какие только маленький и темный дух-пакостник вымыслить может. Но о всем том тогда ж изъяснялся я с его высокопревосходительством нашим главнокомандующим, и он изволил мне тогда дать знать, что входит в мои изъяснения. А ныне что такое на меня взведено, ей-ей, обстоятельно ни от кого не слыхал и клянусь вашему сиятельству честью и всем, что есть святого на свете, что ничего не знаю. Защитите меня, милостивый государь, многомощным ходатайством вашим. Лишенному всего, ваше сиятельство, можете все доставить и тем обязать меня навеки. Невинность моя за меня будет вам поборствовать. На вас, милостивый государь, единственная моя несомненная надежда. Несчастием своим гублю я своих родителей, гублю сестер своих и брата, кои от меня только всей себе помощи ожидали. Войдите в бедственное мое состояние. На сих днях поеду я в Ахтырку. Но откуда б не могла достать меня помощная рука ваша?»