Несмотря на то что Гилле принял участие во многих сражениях и заслужил высокие награды, центральным эпизодом его военной карьеры, сделавшим из него выдающегося командира войск СС, стали бои за Ковель — железнодорожный узел и город, стоящий на реке Турья в Волынской области Украинской ССР. Этот город был оставлен советскими войсками в самом начале войны, 28 июня 1941 года, и долгое время оставался в глубоком тылу немецкой армии. Теперь же ему предстояло испытать на себе ужасы военных действий.
После выхода из Черкасского котла остатки дивизии СС «Викинг» были переведены в лагерь близ Ковеля, где остановились на отдых и пополнение. Оказалось, что для отдыха этот город оказался абсолютно не приспособленным, и Гилле попал прямо из одного котла в другой. Дивизия «Викинг» в марте 1944 года вошла в состав LVI танкового корпуса 2-й армии группы армий «Центр», которым командовал генерал пехоты Фридрих Хоссбах. Ситуация на участке группы армий «Центр» и находившейся южнее группы армий «Северная Украина» была тяжелой, советские войска постоянно усиливали давление на немецкие позиции, 1-я танковая армия генерал-полковника Хубе вела тяжелые бои в окружении. Кроме того, Ставка Гитлера противилась сокращению линии фронта и категорически настаивала на удержании подступов к Карпатам и линии Коломыя — Тернополь — Ковель. Ковель, где дислоцировалась дивизия Гилле, находился на стыке групп армий «Центр» и «Северная Украина», и его удержание было важным для сохранения всего советско-германского фронта. Это понимало и советское командование, начавшее операцию по окружению Ковеля — она получила в истории название Полесской.
Советское командование предполагало силами 47-й армии нанести главный удар в обход Ковеля с севера и юга, с одновременным нанесением вспомогательных ударов силами 70-й и 61-й армий. 15 марта советские войска перешли в наступление. Угроза потери этой важной стратегической позиции стала реальной, и Гитлер отдал приказ дивизии «Викинг» войти в «крепость Ковель» (Festung Kowel), организовать его оборону и не сдавать ни при каких обстоятельствах.
Хотя дивизия «Викинг» и получила пополнение и технику, переформирование еще не было завершено и ее ударная мощь не была восстановлена. Проведение новой операции для дивизии грозило полным уничтожением. Гилле это понимал и попытался апеллировать к Гитлеру, но не был услышан. Призывы Гилле, заявлявшего «Дивизии “Викинг” больше нет! Мы — всего лишь кучка выдохшихся людей!», услышаны не были. Гитлер требовал одного: держаться во чтобы то ни стало. Гилле же привык подчиняться приказам и заявил генерал-инспектору танковых войск Гейнцу Гудериану: «Господин генерал-полковник! Я не могу требовать этого от своих людей, они попросту больше не могут. Однако, исходя из оценки общей ситуации, я вижу, что Ковель нужно удержать. Я один полечу в Ковель и организую сопротивление в городе».
Прибыв 15 марта в Ковель, Гилле принял командование гарнизоном: ранее все находившиеся в городе войска были сведены в боевую группу СС «фон дем Бах», которой командовал обергруппенфюрер СС Эрих фон дем Бах-Зелевски. Бах не имел опыта командования полевыми частями, ранее его главной задачей была организация борьбы с партизанами на оккупированной территории СССР, и, как следствие, Гилле нашел оборону города в неудовлетворительном состоянии. Все же под командованием Гилле оказалось около 8,5 тысяч человек — в основном из состава двух полицейских батальонов, а также других мелких частей. Противостоящая немцам 47-я армия насчитывала на 15 марта 6 стрелковых дивизий, 1 танковый полк (21 танк) — всего 50,1 тысячи человек, 937 орудий и минометов; в течение всей операции силы 47-й армии постоянно наращивались и, несмотря на большие потери к 5 апреля она насчитывала 10 стрелковых дивизий и 5 танковых полков (61 танк) — всего 60,5 тысяч человек, 1564 орудия и миномета.
К 18 марта войска 47-й армии продвинулись на 30-40 километров и завершили окружение ковельской группировки, перерезав дороги Ковель — Брест и Ковель — Любомль.18 марта войска 47-й армии блокировали Ковель. Советское командование, информированное о незначительной численности гарнизона и его составе (полицейские части расценивались как небоеспособные) рассчитывало, что в блокированном гарнизоне царит паника и ликвидацию группировки можно будет провести в течение 2-3 дней. Но к этому времени Гилле смог восстановить пошатнувшуюся было дисциплину и организовать упорную оборону — и это при подавляющем превосходстве советских войск, стремившихся взять город любой ценой.
Группа армий «Центр» направила основные усилия на деблокаду ковельского гарнизона. Пополнив группировку, действовавшую вдоль шоссе Любомль — Ковель частями 4-й танковой дивизии, генерал-лейтенант фон Заукен сосредоточенным ударом на узком участке фронта прорвал боевые порядки 143-й стрелковой дивизии и 4 апреля вышел в район Ковеля, где соединился с окруженными частями.
Через две недели после окружения Ковеля ударная группа дивизии «Викинг» (восемь танков «Пантера») пробились в Ковель вдоль железнодорожной насыпи. С этими танками Гилле удерживал город еще восемь дней, пока ударная группа, в состав которой входила и боевая группа дивизии «Викинг», не провела новую операцию, отбросив советские войска и полностью исключив угрозу блокады Ковеля. В течение двух суток Гилле вывел из Ковеля всех раненных и гусеничную технику. Героическая 22-дневная оборона Ковеля, при практически полном отсутствии сил и возможностей, стала действительно выдающимся событием даже на фоне Черкасска или Демянска. 19 апреля 1944 года группенфюрер СС и генерал-лейтенант войск СС Герберт Отто Гилле уже в третий раз получил высокую награду из рук Адольфа Гитлера. Он стал 12-м в немецкой армии и первым в войсках СС кавалером Рыцарского креста с дубовыми листьями, мечами и бриллиантами.
Стойкость Гилле сорвала планы советского командования, и результатом сражения стало отстранение 5 апреля генерала Петра Курочкина от поста командующего 1-м Белорусским фронтом (его понизили до командующего 60-й армией), сам фронт был расформирован, в мае потерял свою должность командующий 47-й армией генерал-лейтенант Виталий Поленов — лишь в августе 1944 года он был назначен командиром 108-го стрелкового корпуса.
В мае дивизия была отведена на переформирование в лагерь Хейде — от нее практически ничего не осталось.
IV танковый корпус СС20 июля 1944 года группенфюрер СС и генерал-лейтенант войск СС Герберт Отто Гилле получил приказ сформировать новый — IV — танковый корпус СС. Официальный приказ о его назначении пришел несколько позже — 6 августа.[64] К этому времени формирование шло уже полным ходом. У корпуса была довольно странная история: первоначально он был сформирован 5 августа 1943 года в Пуатье (Франция), однако несмотря на то что создание частей корпусного подчинения и началось, корпус так и не принял участие в операциях. 30 июля 1944 года он был расформирован и в тот же день создан заново из частей расформированного VII танкового корпуса СС.
