В августе 1944 года корпус Гилле закончил формирование и был включен в 9-ю армию группы армий «Центр», действовавшую в районе Варшавы на советско-германском фронте. Были сформированы части корпусного подчинения:
104-й (затем 504-й) тяжелый артиллерийский дивизион СС (SS-Schwere Artillerie Abteilung 104/105), состоявший из четырех 150-мм гаубиц и трех 210-мм орудий;
104-я служба командующего артиллерией СС (SS-Artilleriekommandeur 104 или Arko 104);
104-й корпусной батальон связи СС (SS-Korps-Nachrichten-Abteilung 104);
104-й дивизион реактивных минометов СС (SS-Werfer-Abteilung 104), состоявший из четырех батарей по шесть 150-мм ракетных установок;
104-й санитарный батальон СС (SS-Sanitäts-Abteilung 104);
корпусной полевой учебный батальон (Feld-Ausbildungs-Bataillon IV.SS-Panzer-Korps);
104-я автомобильная рота (Kraftfahrzeug-Komapnie 504);
504-й ремонтный и пошивочный взвод (Bekleiudings-Instandsetzungs-Zug 504);
104-е управление полевой почты СС (SS-Feldpostamt 104).
Как и все остальные корпуса германской армии, IV танковый корпус СС не имел постоянного состава, однако «родная» дивизия Гилле — «Викинг» — была в его составе постоянно. Кроме того в августе в состав корпуса вошла и другая элитная дивизия СС — 3-я танковая дивизия СС «Мертвая голова». Когда началось Варшавское восстание — 1 августа 1944 года — корпус Гилле был немедленно отправлен на фронт, включен в состав 9-й армии группы армий «Центр» и занял позиции в 48 километрах севернее Варшавы. Его задачей было не допустить прорыва советских войск на помощь восставшим. Однако оказалось, что советское командование не стремится помочь варшавянам. Причиной этого было то, что Варшавское восстание подняла Армия Крайова, ориентировавшаяся на находившееся в Лондоне эмигрантское правительство Миколайчика. Отношения же СССР к этому правительству было вполне определенным: еще в апреле 1943 года после скандала с расстрелами в Катыни СССР отказался признавать лондонское правительство в качестве законного представителя польского народа. Цель же восстания — попытка Армии Крайовой установить контроль за Варшавой до подхода советских войск и тем самым объявить город в юрисдикции лондонского правительства — не вызвала сочувствия у советского руководства. В связи с чем на первом этапе восстания советские войска особой инициативы не проявили, что дало возможность обергруппенфюреру СС Эриху фон дем Баху подавить восстание.
14 августа советские войска возобновили атаки, и в течение недели Гилле пришлось отбивать яростные атаки 15 стрелковых дивизий и 2 танковых бригад. Однако силы были слишком неравны, и 26 августа Гилле начал отход к Варшаве. 15 сентября соединения Войска Польского при поддержке советской армии форсировали Вислу и заняли ряд плацдармов. Однако сил было недостаточно, и немецкие войска, в том числе корпус Гилле, провели успешную контратаку и выбили противника с занимаемых позиций.
К 16 сентября 1944 года корпус представлял собой очень мощную силу: в подчинении его штаба находились 3-я танковая дивизия СС «Мертвая голова», 5-я танковая дивизия СС «Викинг», 19-я танковая дивизия, боевая группа «фон дем Бах», а также части 73-й пехотной и 1-й венгерской кавалерийской дивизий. В принципе группа «фон дем Бах» на фронте не действовала, а боролась в Варшаве с повстанцами. Таким образом теоретически ряд частей, подавлявших восстания, были в подчинении Гилле, однако на самом деле Гилле подобного командования не осуществлял и фон дем Бах подчинялся напрямую Берлину и действовал полностью самостоятельно. В конце сентября на фронте наступило недолгое затишье, но 10 октября советские войска вновь перешли в наступление, и IV танковый корпус СС был вынужден отойти на 32 километра на Запад. Оборону эсэсовцев Красной Армии прорвать все же не удалось, и фронт стабилизировался. 27 октября советское командование отдало приказ о приостановлении штурма Варшавы. 9 ноября 1944 года Герберт Гилле получил свое последнее воинское звание — он стал обергруппенфюрером СС и генералом войск СС.
До конца года корпус Гилле действовал в районе Модлина, постоянно отбивая массированные атаки советских войск, имевших абсолютное превосходство в живой силе и технике. Тем не менее Гилле удалось не допустить прорыва и удержать позиции. IV танковый корпус СС был наиболее боеспособным и мобильным соединением 9-й армии, а в преддверии готовящегося крупномасштабного наступления Красной Армии против группы армий «Центр» его значение еще более повышалось. Однако в это же время советские войска осуществили операцию против группы армий «Юг» и, прорвав оборону немецких войск, начали массированное наступление в Венгрии. Гитлер отказался отдать приказ об эвакуации Будапешта, и 21-26 декабря советским войскам удалось полностью блокировать город и находившуюся в нем почти 190-тысячную группировку (в составе которой также находилось около 50 тысяч солдат войск СС: части 8-й кавалерийской дивизии СС «Флориан Гейер», 22-й добровольческой кавалерийской дивизии СС «Мария Терезия», 18-й добровольческой моторизованной дивизии СС «Хорст Вессель»). Гитлер посчитал первоочередной задачей прорыв блокады и отдал приказ о сосредоточении на Будапештском направлении лучших соединений германской армии. И прежде всего — IV танкового корпуса СС (I и II танковые корпуса СС в это время действовали на Западном фронте в Арденнах).
Подчиненные Гилле танковые дивизии СС «Мертвая голова» и «Викинг» были изъяты из группы армий «Центр» и начали переброску под Будапешт через Прагу, Вену и Братиславу. Лишившись своей главной ударной силы, 9-я армия (а также вся группа армий «Центр») потеряла свой шанс на успешное противостояние грядущему наступлению. Этот факт во многом способствовал разгрому 9-й армии в ходе Варшавско-Познанской операции 14 января — 3 февраля 1945 года.
24 декабря Гитлер отдал приказ о переходе в наступление на Будапешт, и в первый день последнего года войны эсэсовцы Гилле пошли в атаку на внешнюю линию кольца советских войск, но им удалось продвинуться лишь на несколько километров к позиции 4-й гвардейской армии, а 11 января Гилле перешел к обороне. Вскоре на фронт начали прибывать переброшенные с Запада части 6-й танковой армии СС (в состав которой был теперь включен и IV танковый корпус СС). Наибольший успех среди наступающих частей пришелся как раз на корпус Гилле — 18 января его танки взяли Дунапентеле и подошли примерно на 20 километров к городу. Но сил развить успех у немецкого командования не было, кроме того, Гитлер, который на этом этапе стал вмешиваться уже в тактическое руководство военными действиями, отдал приказ об изменении направления главного удара. В результате операция провалилась и привела лишь к большим и бессмысленным потерям. 27 января советское командование, подтянув 26-ю и 46-ю армии, перешли в атаку и отбросили корпус, которому удалось закрепиться на позициях в Бмаконском лесу к северу от озера Балатон.
