Перед Польской кампанией артиллерийский полк был переброшен в Восточную Пруссию. Хотя части усиления СС и не были использованы в качестве единой дивизии, как на это надеялся ее командир Пауль Хауссер, все же эсэсовцы приняли посильное участие в завоевании Польши. Вместе с полком «Дойчланд» артиллерия СС была объединена с 4-й танковой бригадой в группу «Кемпф» (названную так по имени командира — генерал-майора Вернера Кемпфа). В составе I армейского корпуса 3-й армии эсэсовцы приняли в первых числах сентября участие в разгроме польской армии «Модлин», под Млавой, а 6 сентября начали яростные атаки под Пултуском. В дальнейшем группа «Кемпф» успешно осуществляла преследование отступавших частей армии «Модлин», и входившие в нее части показали себя с хорошей стороны. Как указывает ряд источников, в Польской кампании части усиления СС понесли большие потери, чем аналогичные соединения вермахта, что объяснялось несколько более низким качеством командного состава. Однако к дивизиону Гилле это не относилось — артиллеристы обеспечивали артиллерийскую поддержку наступавшим войскам и сами непосредственного участия в военных действиях не принимали, за исключением артиллерийской дуэли, а также эпизодических столкновений. Действия дивизиона были признаны успешными, и по результатам кампании — именно по результатам, а не за конкретные отличия — Гилле был награжден планками к уже имевшимся у него Железному кресту 2-го (26 октября 1939 года) и 1-го (21 ноября 1939 года) класса. Примерно тогда же — 19 октября 1939 года — Гилле был произведен в оберштурмбаннфюреры СС.
После окончания Польской кампании из частей усиления СС была сформирована дивизия усиления СС (позже дивизия СС «Рейх»), в состав которой вошел и дивизион Герберта Гилле. К началу кампании на Западе дивизион вместе с большей частью дивизии располагался в районе Мюнстера, являясь ближайшим резервом наступавших частей первого эшелона. В мае часть Гилле приняла участие в боях в Брабанте, а затем в преследовании отступавших войск союзников. В июне последовали бои на Сомме, Марне и Сене, участие в разгроме французской группировки у Шатийона. Солдаты Гилле завершили кампанию в районе Бордо.
Уже после победы над Францией руководство СС активизировало создание новых дивизий войск СС. В рамках этой программы решено было начать формирование дивизии СС, укомплектованной иностранными добровольцами. (Вернее, такие добровольцы составляли лишь часть дивизии, куда зачислялись также и фольксдойче, и рейхсдойче;[61] костяком же дивизии стал уже существовавший и ранее входивший в дивизию усиления пехотный полк СС «Германия».) Новая дивизия получила первоначально название «Германия», но в январе 1941 года она была переименована в «Викинг». Командный состав нового формирования был набран в основном из уже имевших опыт боевых действий подразделений дивизии усиления СС. На должность командира дивизии был выбран один из создателей войск СС, Феликс Штейнер, с которым Гилле уже сталкивался по службе в штандарте СС «Дойчланд». Сам Гилле 15 ноября 1940 года был назначен командиром 5-го артиллерийского полка СС, который был составной частью новой дивизии. Вскоре — 30 января 1941 года — Гилле был произведен в штандартенфюреры СС, что стало как признанием его заслуг, так и более соответствовало новой должности командира полка.
То, что Штейнер при подборе командных кадров отдавал предпочтение офицерам, имевшим большой опыт службы (каким был он сам), сказалось на боеспособности дивизии «Викинг» — она и позже выделялась из дивизий СС своей высокой боеспособностью, и как результат — второе по числу количество кавалеров Рыцарского креста среди дивизий СС (больше было только у дивизии «Рейх»). В то же время командный состав этой дивизии был наиболее аполитичен, если так можно сказать о частях СС. Несмотря на давление со стороны Гиммлера, большинство ее старших командиров в течение войны так и не вышли из церкви. В дивизии было меньше фанатизма и больше вдумчивого профессионального руководства, но Гиммлеру приходилось с этим мириться, так как результаты которых достигал «Викинг», были очень высоки. В то же время, хотя дивизию и постоянно отмечали, главными «объектами» нацистской пропаганды среди частей СС стали безупречные в идеологическом плане «Лейбштандарт» и «Мертвая голова», и в определенной степени «Рейх».
Как и его командир, Гилле не отличался покладистым характером. Кроме того, как профессиональный офицер (то есть имевший определенное военное образование) он постоянно критиковал действия руководства СС и лично рейхсфюрера. Не без оснований Гилле считал Гиммлера и его советников дилетантами, ничего не понимавшими ни в тактике, ни в стратегии. Кроме того, Гилле претили методы Гиммлера, старавшегося установить систему тотальной слежки и заидеологизировать войска СС. Как мог, Гилле противился этому, активно борясь с наличием информаторов в дивизии. Учитывая, что Гилле никогда не скрывал своей точки зрения, надо отдать должное Гиммлеру: он закрывал глаза на эти, казалось бы, важные в идеологических войсках факты и не преследовал Гилле, понимая, что его профессиональные знания крайне важны для боеспособности дивизии «Викинг». (И это относилось не только к Гилле; во время войны было достаточно случаев, когда Гиммлер переманивал офицеров в войска СС и присваивал им высокие звания при том, что они даже не являлись членами НСДАП.) Тем более что в главном противоречий между Гилле и рейхсфюрером СС не было: Герберт был немецким националистом, убежденным нацистом и яростным антикоммунистом, считавшим, что борьба с большевизмом — единственный путь для спасения Германии. Естественно, все это не прошло мимо Гиммлера. Он, например, заявил отвечавшему в дивизии за политическое воспитание оберштурмбаннфюреру СС Фику: «В нашем аристократическом 5-м артиллерийском полку ношение коричневых рубашек осуждается. Мне придется прислать вам наряд солдат, чтобы помочь переодеться!».
Перед началом кампании на Востоке дивизия «Викинг» была включена в резерв 1-й танковой группы группы армий «Север», и в июне она перешла границу СССР и взяла курс на Лемберг (Львов). Из действовавших в июне 1941 года на советско-германском фронте дивизий СС «Викинг» первой вступила в бой — это состоялось 29 июня под Тернополем. Дивизия вела бои на Тернопольско-Житомирском направлении, участвовала во взятии Днепропетровска и Сталино (Донецка). После прорыва в октябре 1941 года к Невинномысску и Успенскому дивизия начала наступление на Миус и 1 января 1942 года вошла в город. Заслуги Гилле были тем временем отмечены повышением его в звании до оберфюрера СС (1 октября 1941 года). На Миусском плацдарме дивизия оставалась до второй половине июля 1942 года, ведя тяжелые бои в районе Матвеева Кургана на юго-западе Ростовской области. 28 февраля 1942 года Гилле был награжден Германским крестом в золоте.
