По рекомендации Г. Гиммлера Гитлер произвел Шернера в генерал-полковники и назначил командующим группой армий «А» (7 апреля 1944 года), которая вскоре была переименована в группу армий «Южная Украина». В это время разбитые Красной Армией на Юге Украины немецко-фашистские войска в беспорядке отступали к Днестру. Суровыми мерами новому командующему удалось восстановить порядок в войсках и создать новый фронт обороны по р. Днестр, на котором наступление советских войск было остановлено. Среди принятых Шернером мер был и отданный им приказ, согласно которому части и подразделения, самовольно оставившие свои позиции, подлежали немедленному расстрелу за трусость.
Изолированная советскими войсками в Крыму 17-я полевая армия была обречена. Понимая это, Шернер предложил Гитлеру эвакуировать ее, а Крым оставить, но получил отказ. В мае 1944 года 17-я армия была уничтожена советскими войсками в Крыму. Виновником этого сокрушительного для вермахта разгрома был объявлен командующий 17-й армией. 5 июля 1944 года Шернер сдал командование группой армией «Южная Украина» генералу И. Фриснеру, а сам 25 июля был назначен командующим группой армией «Север» в Прибалтике, где обстановка для немецко-фашистских войск к этому времени сложилась критическая.
Наступавшие советские войска 1-го Прибалтийского фронта достигли побережья Балтийского моря и отсекли находившуюся в Прибалтике группировку немецко-фашистских войск от Восточной Пруссии. В этих условиях Шернеру жесткими мерами удалось удержать фронт в Прибалтике от полного развала. Чтобы сократить ширину фронта обороны, для удержания которого сил у него было явно недостаточно, Шернер предложил Гитлеру оставить Эстонию, но получил отказ. 14 сентября Красная Армия начала наступление в Прибалтике по всему фронту. В считанные дни оборона врага рухнула. Почти вся территория трех прибалтийских республик Советского Союза была освобождена от гитлеровских оккупантов. Остатки группы армий «Север» были заблокированы в Курляндии. В ходе этой оборонительной операции Шернер допустил крупную оперативную ошибку, значительно ускорившую поражение немецко-фашистских войск в Прибалтике. Он проигнорировал предложение начальника Генерального штаба сухопутных войск генерала Г. Гудериана об усилении своего правого фланга и неправильно использовал 3-ю танковую армию, которая перед этим пробила коридор к группе армий «Север» и восстановила ее связь с Восточной Пруссией. В результате в начале октября 1944 года советские войска нанесли мощный удар в районе Клайпеды, разгромили немецкую 3-ю танковую армию и окончательно отсекли группу армий «Север» от основных сил германского Восточного фронта. Правда, все попытки советских войск ликвидировать «Курляндский котел» в конце 1944 были Шернером отражены.
Гитлер высоко оценил заслуги Шернера на Восточном фронте в 1943—1944 годах, наградив его дубовыми листьями и мечами к Рыцарскому кресту, а 1 января 1945 года удостоил высшей боевой награды нацистской Германии— бриллиантов к Рыцарскому кресту. В Третьем рейхе такую награду имели только 27 человек, из них лишь 4 фельдмаршала. Шернер был последним из них.
17 января 1945 года Гитлер назначил своего любимца командующим группой армий «А» в Польше и Словакии. Положение этой группировки немецко-фашистских войск в данный момент было катастрофическим. Оборона ее во многих местах была взломана, и советские войска стремительно развивали успех в глубину. Драконовскими мерами Шернер пытался остановить бегство своих войск. Свирепствовали военно-полевые суды, по приговорам которых были повешены многие десятки солдат и офицеров, не проявившие должной стойкости в боях или бежавшие с фронта. Но все усилия Шернера оказались тщетными. Его попытка удержать Силезию — последнюю военно-промышленную базу Германии после разбитого и разбомбленного союзной авиацией Рура — также окончилась неудачей.
Остатки разгромленных Красной Армией войск Шернера отступили в Чехословакию и Саксонию. Здесь группа армий «Центр» (бывшая группа армий «А») была приведена в порядок и восстановила свою боеспособность. Ее численность возросла до 600 тыс. человек. К началу весны 1945 года это была самая сильная из всех группировок немецко-фашистских войск. Объяснялось это тем, что Гитлер, как и убедивший его в этом Шернер, считал наиболее вероятным нанесение Красной Армией весной 1945 года удара не на Берлин, а на Прагу и Вену. 5 апреля 1945 года Гитлер произвел Шернера в генерал-фельдмаршалы.
16 апреля началась Берлинская операция. Во 2-й половине апреля Шернер предпринял несколько попыток перейти в наступление, чтобы облегчить положение немецко-фашистских войск на берлинском направлении, но изменить общую неблагоприятную для вермахта оперативно-стратегическую обстановку он не смог. Все его достижения свелись лишь к ряду частных успехов.
Своим последним приказом Гитлер назначил Шернера главнокомандующим сухопутными войсками (30 апреля 1945 года), передав ему таким образом свой пост, который занимал с декабря 1941 года. Однако вступить в новую должность Шернеру так и не удалось. В последние дни войны он являлся лишь номинальным главнокомандующим, продолжая командовать своей группой армий.
В конце апреля 1945 года группа армий «Центр» была окружена советскими войсками восточнее Праги. 7 мая, отдав своим войскам приказ прорываться на Запад, который скорее походил на призыв «Спасайся, кто как может!», Шернер оставил их и на легком самолете вылетел в сторону Баварских Альп. До сих пор не ясно, выполнял ли он последнюю волю Гитлера, согласно которой Шернер должен был сформировать на Юге Германии новую армию и возглавить оборону так называемой Альпийской крепости, или же это было самое обычное дезертирство, банальная попытка спасти собственную шкуру. В пользу последней версии говорит и тот факт, что в последние дни войны, как свидетельствуют очевидцы, Шернер совершенно утратил всегда присущие ему боевой дух и решимость, выглядел морально подавленным человеком. Но как бы там ни было, а сотни тысяч солдат и офицеров группы армий «Центр», брошенные своим командующим на произвол судьбы, посчитали бегство Шернера из котла предательством. Добраться до Баварии Шернеру не удалось. В Австрии его самолет совершил вынужденную посадку. Через несколько дней пытавшийся скрыться в сельской местности Шернер был опознан местными жителями и по их информации задержан немецкими военнослужащими, которые передали его американцам (18 мая 1945 года). Вскоре американское командование выдало Шернера советским властям.
В 1952 году за совершенные им военные преступления на территории СССР Шернер был приговорен советским военным трибуналом к 25 годам тюремного заключения. Почти 10 лет провел в тюрьмах и лагерях Советского Союза. В январе 1955 года для отбытия оставшегося срока заключения передан ФРГ, где был сразу же освобожден. В 1957 году западногерманский суд (в Мюнхене) приговорил Шернера к 4,5 годам тюрьмы за казнь по его приказу без суда и следствия одного немецкого солдата, который валялся пьяным у колес своего армейского грузовика. После освобождения проживал в Мюнхене, где и скончался на 82-м году жизни.
