В ноябре 1940 года Клейст возглавил 1-ю танковую группу, которая весной 1941 года была переброшена на Балканы (в Болгарию). Участвовал в Балканской кампании 1941 года, находясь в оперативном подчинении командующего 12-й армией генерал-фельдмаршала В. Листа. Во время этой кампании 1-я танковая группа войск вела боевые действия в Югославии. 9 апреля ее войска овладели г. Ниш, а 13 апреля вступили в столицу Югославии — Белград. Разгром противника в Югославии танковая группа Клейста осуществила во взаимодействии со 2-й армией генерала М. фон Вейхса. После завершения Балканской кампании она была в срочном порядке переброшена в Польшу, где вошла в состав группы армий «Юг» (генерал-фельдмаршал Г. фон Рундштедт).
Сразу же после вторжения на территорию Советского Союза 1-я танковая группа [3-й (генерал Э. фон Макензен), 14-й (генерал Г. Витерсгейм) и 48-й (генерал В. Кемпф) моторизованные корпуса] приняла участие в крупнейшем за всю войну танковом сражении, развернувшемся в районе Ровно, Броды, Луцк, которое завершилось поражением советских войск. Развивая достигнутый успех, Клейст 10 июля овладел Житомиром, а затем его танки повернули на юго-восток и в районе Первомайска соединилась с войсками 17-й армии (генерал К. фон Штюльпнагель), замкнув кольцо оружия крупной группировки Красной Армии на Правобережной Украине (Уманский котел). К 8 августа эта группировка советских войск была ликвидирована, потеряв только пленными свыше 100 тыс. человек. В качестве трофеев немцы захватили здесь более 300 танков и до 800 орудий. В августе 1941 года 1-я танковая группа форсировала Днепр у Кременчуга и 16 сентября в районе Ромны соединилась со 2-й танковой группой Гудериана, замкнув кольцо окружения 5 советских армий. К концу сентября эта группировка советских войск (киевская группировка) прекратила свое существование. Только одних пленных при ее ликвидации было захвачено свыше 600 тыс. человек[58]. 6 октября 1941 года 1-я танковая группа была преобразована в 1-ю танковую армию. На следующий день в оперативное подчинение Клейста поступила 11-я армия. В октябре 1941 Клейст разгромил северо-западнее Бердянска очередную группировку советских войск, захватив в плен 65 тыс. человек, затем его войска заняли большую часть Донбасса и 21 ноября овладели Ростовом-на-Дону.
Но здесь военное счастье, которое с самого начала Второй мировой войны неизменно сопутствовало Клейсту, изменило ему. Его вырвавшиеся далеко вперед танковые соединения подверглись мощному контрудару советских войск и были вынуждены оставить Ростов (29 ноября). Под натиском противника они начали поспешное отступление на запад, несмотря на строжайший приказ Гитлера, запрещавший даже малейший отход. Будучи не в состоянии сдержать наступление советских войск, Клейст обратился к командующему группой армий «Юг» с просьбой разрешить ему отступить к р. Миус. Рундштедт на свою ответственность дал такое разрешение, за что сразу же был смещен Гитлером с должности. Заменивший его генерал-фельдмаршал В. фон Рейхенау все же добился у фюрера разрешения на отход 1-й танковой армии. Таким образом, под Ростовом Клейст снискал сомнительную славу первого германского военачальника, потерпевшего крупное поражение во Второй мировой войне. Весной 1942 года Клейст принял участие в Харьковском сражении, завершившемся новой крупной победой немецко-фашистских войск.
1-я танковая армия внесла весомый вклад в эту победу. 24 июля она во второй раз взяла Ростов, а затем устремилась на Северный Кавказ. 8 августа ее войска захватили Майкоп и вслед за тем вышли в предгорья Главного Кавказского хребта. Но здесь они встретили упорное сопротивление советских войск, их дальнейшее продвижение застопорилось. Старый начальник Клейста командующий группой армий «А» генерал-фельдмаршал Лист, под командованием которого он сражался в Польше, Франции и на Балканах, был смещен со своего поста (10 сентября 1942 года) и уволен в отставку. Командование группой армий «А» принял на себя Гитлер. Однако этот не более чем театральный жест фюрера к улучшению обстановки не привел. Более того, она продолжала неумолимо ухудшаться.
19 ноября началось мощное контрнаступление Красной Армии под Сталинградом. Прорванный советскими войсками во многих местах фронт обороны группы армий «Б» начал рушиться на глазах. Грозный призрак стремительно надвигавшейся катастрофы всего южного крыла германского Восточного фронта уже начал обретать вполне реальные очертания. Бывший ефрейтор, возомнивший себя полководцем одной из самых мощных армий в мире, был вынужден признать (хотя бы втайне для себя) свое полное военное банкротство и назначить на пост командующего группой армий «А» профессионала (22 ноября 1942 года). Им стал Клейст. В состав этой группы армий тогда входили всего 2 армии — 17-я и 1-я танковая. В сложившейся обстановке новый командующий должен был принять срочные меры по спасению вверенной ему группировки войск.
После катастрофы, постигшей вермахт под Сталинградом, над немецкими войсками на Северном Кавказе нависла угроза изоляции от основных сил германского Восточного фронта и последующего разгрома. Надо отдать должное Клейсту — он справился с поставленной перед ним задачей с большим искусством, хотя Гитлер лишь в самый последний момент разрешил ему начать отступление. Но тем не менее Клейсту удалось через узкий коридор у Ростова вывести с Северного Кавказа 1-ю танковую армию, а войска 17-й армии организованно отвести в низовья Кубани и прочно закрепиться там. Заслуги Клейста, сделавшего все, чтобы не допустить на Северном Кавказе «нового Сталинграда», были очевидны. 31 января 1943 года Гитлер произвел его в генерал-фельдмаршалы. В период боевых действий на Северном Кавказе Клейст проводил на оккупированной территории активную политику привлечения на сторону немецко-фашистской армии казачества и горских народов Северного Кавказа, в чем достиг определенных успехов. В немалой степени этому способствовало довольно лояльное отношение Клейста к местному населению, заигрывание с антисоветски настроенными кругами казачества и горцев, запрет войскам СС проводить карательные операции на подконтрольных ему территориях. В сентябре 1943 года добился у Гитлера разрешения на эвакуацию 17-й армии с Таманского плацдарма в Крым, в результате чего была спасена от уничтожения крупная группировка немецко-фашистских войск (около 260 тыс. человек).
Но тогда же у Клейста начались серьезные разногласия с Гитлером. Клейст потребовал от фюрера оставить Крым и эвакуировать с полуострова немецкие и румынские войска, считая его оборону не только бесперспективной, но и чреватой очередным крупным поражением (что и произошло, но уже после отставки Клейста). Но Гитлер запретил Клейсту об этом даже и думать.
