Но повеление не было исполнено. 28 сентября в армии держан был военный совет, на котором решено отступить за Неман. Посылая в Петербург журнал военного совета, Апраксин писал от 30 сентября: «Суровость времени и недостаток в здешней земле провианта и фуража, равно как изнуренная совсем кавалерия и изнемогшая пехота, суть важнейшими причинами, кои меня побудили, для соблюдения вверенной мне армии, принять резолюцию чрез реку Неман перебраться и к своим границам приближиться. Сие самое препятствием было над побежденным неприятелем дальнейшие прогрессы производить. Он, хотя по учиненной с моей стороны при Але-реке стратажеме в левую руку к Аленбургу, не обождав ни перехода с армиею через реку, ниже атаки, из виду и ретировался, однако не совсем побежал, но для того только сию ретираду учинил, чтоб, опасаясь моего прямо к Кенигсбергу чрез Аленбург следования, лучшее и крепчайшее место, каковых у него от реки Алы до Кенигсберга несколько заготовлено, занять и проходу моему тем более препятствовать мог. По такой его ретираде уведомясь заподлинно о положении укрепленных до Кенигсберга мест, взятие которых много людей стоило б, и явившееся оскуднение запасного провианта, паче же недостаток фуража в истощенной неприятелем земле, ибо в Кенигсберге шефель муки по семи талеров продавался, с общего согласия всего генералитета поворот учинен к Тильзиту в таком намерении, чтоб, исправясь тамо, паки вперед продвинуться. Но, нашед в Тильзите многие главнейшие и человеческим разумом непреодолимые препятствия от рановременных по здешнему климату ненастей и морозов и не могучи воли Божией противиться, с наичувствительнейшим моим и всего генералитета сокрушенном, не в сходство высочайшую вашего величества намерения и в противность нашего искреннейшего желания поступить и сие к границам приближение за лучший к соблюдению армии способ тем паче избрать принужден был, что, удержав Тильзит и реку Неман, також, расположа армию в сей завоеванной Пруссии, так от недостатка провианта и фуража, как и от разделения по частям армии для сбережения завоеванных мест конечная погибель всему войску нанесена была б. Невзирая на то что в Мемеле провианта довольно, которого доставление к армии невозможно ни гафом, ни сухим путем: гафом, потому что на десяти галерах и прочих мелких судах, кои к тому способными найдены и во всей той стороне собраны быть могли, умалчивая о том затруднении, что чрез Шварцер-орт за мелью всякую галеру, выгрузя, перетаскивать надобно, не более 1500 четвертей уложиться может, а сухим путем за крайнею в здешней земле и Жмуидах в осеннее время по низости ситуации распутицею ничего подвозить нельзя, рекою же Неманом за кривым течением оной и многими мелями, по причине которых от большей части к неприятельскому берегу вверх по реке плыть и приставать должно, весьма опасно. Что же принадлежит до добровольного здешних обывателей подвержения в подданство вашего величества, то принятое ими намерение принужденным почесть должно, как то действительно и оказалось, ибо многие, только что успели присягу принести и тем себя обнадежить, тотчас против нас и вооружились, да иначе и ожидать нельзя, ибо должность к природному государю натурально их на то влечет, а сверх того, всем обывателям, особливо же в городах живущим, от начальства повелено, себя разорению не подвергая, оружию вашему покориться, истолковав им притом, что чинимая по такой крайности присяга без угрызения совести всегда нарушена быть может».
Сильные вопли французского и австрийского послов против Апраксина, жалобы на него генерала С. Андрэ заставляли посылать к нему грозные указы. Апраксин писал императрице 6 октября: «Высочайший указ, мною вчерась полученный, что больше я читал, толь более умножался во мне трепет и отчаяние. Севодни собранному для держания совета всему генералитету я при объявлении того указа принял дерзновение предложить, ежели они примечают, что я есть настоящим препятствием подачи их свободных в советах мнений или причиною к неисполнению ваших высоких мне повелений, то чтоб они приговорили не только от меня главную команду кому принять, но и шпагу свою их присутствию отдавал; но они во мне никакого к тому преступления не нашли и оттого отреклись».
Между тем генералу Фермору, которому более других доверяли, послано было в Мемель приказание отвечать откровенно по пунктам о положении армии и о действиях фельдмаршала. Фермор отвечал 14 октября: «Как пред Богом вашему импер. величеству по сущей правде на повеленные пункты своеручным письмом рабски доношу: 1) до баталии за 12 дней армию людьми нашел я в добром состоянии, а лошадей под кавалериею и артиллериею и полковыми тягостями уже в слабом состоянии; по наступившим же дождям и великим грязям день от дня в совершенную худобу пришли, а по прибытии к реке Але уже и валиться начали; ныне же от дальнего и трудного похода и ненастливой погоды как люди большею частью в немалой слабости, а лошади в негодности находятся, и затем с желаемым успехом военных операций произвесть невозможно. 2) Причины отступления армии к ее магазинам суть следующие: недостаток людям и лошадям субсистенции, и хотя б неприятель вторично разбит и Кенигсберг взят был, то, не имея готовых магазинов, войска пропитать нечем было, а в таком противном случае аще бы под закрытием прусского войска блокада города продолжалась, то б за недостатком принуждены были отступить и тем полученную славу умалить. 3) Армию на зимние квартиры в неприятельской земле расположить, пока неприятельская армия совсем разбита или прогнана не будет, способов представить не можно, кроме предпринятых по крайнему разумению от всего генералитета».
Но вопли французского и австрийского министров против Апраксина не уменьшались, и, несмотря на объяснения Фермора, решено было сменить фельдмаршала и отдать главное начальство тому же Фермору, который заявлял свое участие и сочувствие распоряжениям Апраксина как сделанным с общего согласия всего генералитета. 16 октября Иностранной коллегии дан был указ для сообщения министрам союзных дворов: «Предпринятая единожды без указу нашим генералом-фельдмаршалом Апраксиным ретирада тем больше неприятные произвела по себе следствия, что мы оной предвидеть и потому и предупредить не могли, наступившее же ныне паче всех лет толь рано суровое и почти самое уже зимнее время делает бесплодными все наши усиления поправить их вскорости. Сверх натурально великого прискорбия видеть такое предприятие замедленным и на время весьма остановленным, которое, казалось, не могло не иметь пожеланного успеха, мы чувствуем оттого еще большее огорчение, что 1) операция нашей армии генерально не соответствовала нашему желанию, ниже тем декларациям и обнадеживаниям, кои мы учинили нашим союзникам, — замедлившееся окончание кампании наградить скоростию и силою воинских действ, что 2), положась на доношение нашего фельдмаршала, свету объявили, что поворот нашей армии к магазинам делается только на время и операции вновь с лучшим успехом начнутся и что, наконец, 3) рескриптом нашим от 25 числа минувшего месяца вновь подали мы союзникам нашим надежду, что армия наша все возможное употребит в Пруссии себя удержать и, если случай будет, неприятеля атаковать. Происшествие показало, что ни то, ни другое сделаться не могло. Как бы ни было, наше намерение тем не менее твердо и непоколебимо от соглашенных мер нимало не отступать, и как к сему наиглавнейше принадлежит испытать прямые причины, отчего поход нашей армии сперва медлителен был, а потом оная и весьма ретироваться принуждена была, дабы потому толь надежнее потребные меры взять можно было, то мы за нужно рассудили, команду над армиею у фельдмаршала Апраксина взяв, поручить оную генералу Фермору, а его (Апраксина) сюда к ответу позвать».
Это заявление должно было успокоить венский двор; но в конце года было еще неприятное объяснение у Кейзерлинга с Кауницем. В ноябре Кейзерлинг получил рескрипт императрицы, повелевавшей ему сообщить австрийскому правительству жалобы православных сербов на гонения за веру. Кейзерлинг начал свой разговор с Кауницем о том, что хотя русская императрица всегда удаляется от вмешательства во внутренние дела чужих государств, однако она не может не ходатайствовать за своих единоверцев, терпящих нужду и притеснения. Она уверена, что императрица-королева об этом не знает, и потому он, Кейзерлинг, должен сообщить канцлеру: 1) в 1754 году в Кроации и прочих областях публиковано, чтоб все исповедующие греческий закон оставили его и приняли римско-католическую веру, в противном случае будут осуждены на виселицу и четвертование. 2) Греческий закон и исповедующих его поносят самым бесчестным образом, называют их неверными и отпадшими; но так называют язычников, а не людей, верующих во Христа и Его апостолов. 3) Командующий в Кроации, Далмации и Трансильвании граф Петацы отнял у греческих прихожан Архангеломихайловский монастырь, отчего воспоследовало, 4) что сербы лишены исповеди и св. причастия и принуждены жить в отчаянии. 5) Неуважение к святейшим вещам простирается так далеко, что некоторые католики во время освящения св. евхаристия в греческих церквах взлезают на алтарь и делают всякие непристойности, а в кадильницы кладут вовсе не благовонные вещи. 6) Службу Божию часто останавливают, приходят в церкви с заряженными ружьями, стреляют и таким образом заставляют прихожан покидать храмы. 7) Оскверняют храмы, позволяя себе в них такие дела, которые и в законных супружествах не дозволяются. 8) Стараются всякими мерами привлечь православных к принятию унии: те, которые непоколебимы в своем законе, принуждены оставить жен, детей, имение или, подвергнуться смертной казни как государственные преступники.