Из теплых краев 6-я горно-гренадерская дивизия была переброшена на север, в арктический район. После начала войны с Советским Союзом Шёрнер с большим трудом был переброшен вместе с дивизией в район Мурманска. Господство англичан на море не позволило переправить дивизию морским путем через Норвегию, и войскам Шёрнера пришлось преодолевать путь из Греции в Германию, а затем по Балтике в северную Финляндию; выйти в район Мурманска удалось только в октябре 1941 года. В задачу дивизии, которая вошла в состав горно-гренадерского корпуса «Норвегия», входило удержание в течение всей зимы в условиях дикой тундры линии фронта близ Мурманска.
Суровая зима и трудности со снабжением не помешали Шёрнеру подготовить дивизию к боям с противником. В начале декабря 1941 года советские войска начали контрнаступление на Крайнем Севере, но были отброшены дивизией Шёрнера, понеся большие потери. Всю зиму Шёрнер вел оборонительные бои и не давал советским частям продвинуться вперед. В январе 1942 года Шёрнер становится командующим корпусом «Норвегия», переименованным в 19-й горно-гренадерский корпус, и получает звание генерал-лейтенанта.
Корпус Шёрнера успешно отражал все атаки советских войск, но сам не предпринимал никаких наступательных действий из-за недостатка сил и ресурсов. В июне 1942 года Шёрнер получил звание генерала горно-гренадерских войск.
В октябре 1943 года Фердинанд Шёрнер был переведен в центр военных действий на Восточном фронте, получив назначение в 40-й танковый корпус в качестве его командира. До этого назначения он не имел никакой подготовки и опыта ведения танковых операций. Корпус был переименован в группу Шёрнера, и перед ним была поставлена задача обороны Никопольского плацдарма. В группу Шёрнера вошли 30-й, 17-й и 4-й корпуса, которые сдерживали начавшееся наступление советских войск в Крыму. Этот плацдарм создавал благоприятные условия для нанесения вермахтом контрудара с последующим двойным охватом сил противника. Сражение началось 10 января 1944 года и длилось шесть дней. Шёрнеру, как обычно, удалось удержать свои позиции. К концу января силами 4-го Украинского фронта оборона на Никопольском плацдарме была прорвана, и Шёрнеру нужно было срочно отходить с плацдарма, чтобы избежать окружения. Находясь на грани окружения, он все-таки смог вывести своих людей из Никополя и прорваться сквозь позиции противника на запад.
В апреле 1944 года по рекомендации Гиммлера Шёрнер был произведен в чин генерал-полковника и стал главнокомандующим группой армий «А», заменив на этом посту Эвальда фон Клейста, отправленного в отставку. Через шесть дней после этого его войска были переименованы в группу армий «Южная Украина».
Когда Шёрнер принял на себя командование, группа армий «Южная Украина» отступала на запад. Чтобы сохранить войска, он отдал приказ отступить к Днестру, а затем к Карпатам и румынской границе. Это было непростой задачей, так как большую часть армий составляли пехотные части, которые не имели транспортных средств, но Шёрнеру удалось выбраться с Украины, сохранив свои силы. Еще одной проблемой, которую нужно было срочно решить Шёрнеру, была проблема Крыма, где 17-я армия находилась в изоляции от остальных сил. Шёрнер лично осмотрел оборонительные сооружения на Перекопском перешейке и решил, что они могут выдержать наступление еще некоторое время. Наступление на 17-ю армию советское командование начало в начале апреля силами 30 дивизий и 4 танковых корпусов. 5 немецких и 7 румынских дивизий не смогли сдержать такого натиска и отступили к Севастополю. На просьбу Шёрнера об эвакуации 17-й армии морским путем Гитлер ответил отказом. Продолжая настаивать на эвакуации, Шёрнер делал все что мог для организации обороны Севастополя. Уже к 8 мая даже Гитлер понял всю безысходность ситуации и отдал приказ об эвакуации морем 17-й армии, но было уже поздно. Советские войска взяли Севастополь 13 мая.
В начале июля 1944 года советские войска разгромили группу армий «Центр», а части, входившие в группу армий «Север», начали отступление. Чтобы как-то исправить положение, Гудериан, ставший к тому времени начальником Генерального штаба сухопутных сил, предложил назначить командующим группой армий «Север» Шёрнера, заслужившего славу мастера оборонительных операций. Предложение было принято, и 23 июля 1944 года Шёрнер стал командующим группой армий «Север». Он заменил на этом посту генерала Фрисснера, который был переведен на его место.
В подчинении Шёрнера находилось 30 дивизий, составлявших 18-ю и 16-ю армии и армейскую группу «Нарва». На правом фланге между его частями и остатками группы армий «Центр» оказалась значительная брешь. Войска были измотаны беспрерывными боями, отражая наступление 80 советских дивизий, а резервов практически не было. Шёрнер привык выполнять все распоряжения Гитлера, даже если они были на грани невозможного. От своих подчиненных командиров он требовал того же. «Драконовские методы» руководства и жестокость на какой-то срок помогли Шёрнеру удержать фронт от развала, но все равно к концу июля войска 1-го Прибалтийского фронта вышли на берег Балтийского моря, и большая часть войск группы армий «Север» оказалась в окружении. Положение Шёрнера было осложнено и тем, что в конце августа из войны вышла Финляндия, позволив советскому командованию высвободить дополнительные части, сняв их с финляндского направления. Против частей Шёрнера к тому времени уже действовало три полных фронта – 130 дивизий, которым он мог противопоставить только 32 дивизии (из них только 2 танковые) и 3 бригады СС.
Несмотря на то что советское командование приостановило наступление на позиции, занимаемые войсками Шёрнера, он понимал, что это только временное затишье. Стратегическое положение его армий оставалось крайне тяжелым. Войска занимали узкую полосу береговой линии, и на все просьбы об эвакуации войск из Эстонии и Восточной Латвии, где были дислоцированы 18-я армия и армейский корпус «Нарва», Гитлер неизменно отвечал отказом.
Советские войска начали новое наступление по всему фронту 14 сентября. На следующий день Шёрнер снова обратился в Ставку с просьбой о начале эвакуации, сказав, что это последняя возможность для организованного отступления и сохранения воинских частей. Кроме того, 16 сентября Шёрнер вылетел в Ставку, чтобы при личной встрече убедить Гитлера дать приказ об эвакуации, и ему это удалось. Вернувшись в расположение своих частей, Шёрнер немедленно приступил к исполнению приказа.
Тем временем 16-я немецкая армия остановила наступление советских частей на Ригу. Шёрнеру удалось подтянуть часть эвакуированных войск из Эстонии в поддержку 16-й армии (11-я танково-гренадерская дивизия СС «Нордланд» прибыла форсированным маршем через четыре дня). Благодаря этим действиям он остановил прорыв советских войск и сократил линию фронта почти в четыре раза. К 27 сентября из Эстонии были выведены все немецкие части и 100 000 эстонцев. Ему в помощь была направлена 3-я танковая армия для защиты Мемеля (ныне Клайпеда). Этот участок фронта обороняла 551-я дивизия, и Шёрнер полагал, что этих сил будет достаточно, проигнорировав директиву Гудериана.
Но уже 5 октября советские войска перешли в наступление именно на этом участке, прорвали оборону Шёрнера и вышли на побережье к югу и северу от Мемеля, изолировав группу армий «Север». Танковая армия была разделена на три части: одна держалась в Мемеле, другой удалось отойти на север к основным силам группы армий Шёрнера, а третья часть присоединилась к группе армий «Центр» в Восточной Пруссии. Это был практически провал обороны, хотя до этого руководство Шёрнера обороной северного участка фронта было безупречным. Пытаясь организовать контрнаступление, Шёрнер сократил протяженность линии фронта и эвакуировал войска из Риги. Но организовать наступление ему не удалось, так как советское командование начало наступление на Восточную Пруссию, и Гитлер отдал приказ о частичном выводе дивизий группы армий «Север» из Прибалтики. На полную эвакуацию он так и не согласился. Окруженная немецкая группировка, получившая название «Курляндия», оставалась в окружении до самого конца войны, отразив шесть наступлений на свои позиции советских частей.
17 января 1945 года генерал-полковник Шёрнер получил новое назначение. Он стал командующим группой армий «А» (бывшая «Северная Украина»). В конце января она была переименована в группу армий «Центр». Шёрнер должен был оборонять участок фронта, начинавшийся севернее Варшавы и заканчивавшийся в Чехословакии, в Карпатах. В своем распоряжении он имел две полевые (9-я и 17-я) и две танковые (4-я и 1-я) армии, состоявшие из восемнадцати пехотных и остатков шести танковых дивизий. Под его командованием находились 400 000 человек личного состава, почти 1200 танков и чуть более 4000 орудий. Противостоявшие ему советские войска превосходили части Шёрнера более чем в шесть раз по живой силе, имели 6400 танков и в десять раз больше орудий.
