В феврале 1916 года 18-летний сын протестантского пастора из Вестфалии, даже не закончив курс гимназии, вступил добровольцем в 75-й пехотный полк, а в сентябре был уже ранен в тяжелых боях на Сомме. Находясь в отпуске после госпиталя, он сдает экзамены на аттестат зрелости, а затем возвращается на фронт. В сентябре 1917 года — второе ранение во Фландрии и британский плен, где его застает сообщение о производстве в чин лейтенанта.
Возвратившись в октябре 1919 года на родину, Гроскурт тотчас вступает в рейхсвер, устанавливает связь с террористами и заговорщиками, группировавшимся вокруг капитана Эрхардта. Затем он сближается с более умеренным «Стальным шлемом». В апреле 1920 года Гроскурт увольняется с военной службы, поступает в Гейдельбергский университет, где штудирует агрономию, а потом становится управляющим имением. По-видимому, увлечение мирной профессией оказалось временным. В 1924 году он возвращается на военную службу.
После окончания Военной академии в 1935 году Гроскурт направляется в Абвер. Несмотря на кратковременное пребывание в ведомстве Канариса — в конце 1938 года он был откомандирован на другое место службы — Гроскурт принадлежал к числу наиболее доверенных лиц в окружении шефа. Он вступил в группу оппозиционно настроенных к Гитлеру офицеров и играл значительную роль в разработке планов переворота еще в последние два года перед войной. Вероятно, если бы он не оказался на фронте и не попал в плен под Сталинградом в 1943 году, то принял бы активное участие в событиях 20 июля 1944 года и был казнен. Впрочем, он не надолго пережил участников заговора — Гроскурт умер в плену в России.
Преемником Гроскурта стал Эрвин Лахузен-Вивремон. Офицер австрийской службы, глава службы разведки Генерального штаба в Вене, он сотрудничал с Канарисом еще до аншлюса Австрии. Это и сыграло главную роль в решении назначить его руководителем диверсионного подразделения в Абвере.
Третьим, контрразведывательным направлением Абвера ведал в первые годы администрации Канариса майор Генерального штаба Рудольф Бамлер. Военная контрразведка в определенной степени занималась и политическим сыском в вооруженных силах и на предприятиях военной промышленности. Она самым тесным образом сотрудничала с гестапо — ведущим полицейским органом «третьего рейха», ведавшим контрразведкой и подавлением политических противников режима.
Версальский мир запретил Германии иметь официальных военных представителей при посольствах за границей — институт, который традиционно являлся важнейшим источником стратегической информации для военно-политического руководства. По этой причине одним из первых актов гитлеровского правительства в комплексе мер по восстановлению военной мощи Германии и подготовке к войне явилось его возрождение. Уже в апреле 1933 года последовали первые назначения военных атташе в европейские столицы — к концу года они были уже в Англии, Франции, СССР, Италии, Венгрии, Болгарии, Нидерландах; Польше, Чехословакии, Румынии. Как правило, на эти посты назначались опытные офицеры службы Генерального штаба в звании полковника или генерала. При этом каждый вид вооруженных сил получил право назначать своего собственного военного атташе, хотя после 1938 года один из аккредитованных в данной стране военно-дипломатических представителей считался старшим и носил титул «военного атташе вооруженных сил». Всего к началу второй мировой войны Германия имела 18 военных, 12 морских и 13 авиационных атташе в различных странах мира. Руководство их работой осуществлял специальный отдел «Заграница» («Аусланд»), которым бессменно руководил капитан I ранга (позже адмирал) Леопольд Бюркнер. Статус этого подразделения обеспечивал ему значительную автономию. Стекавшиеся сюда сведения направлялись Бюркнером самостоятельно «наверх» или в другие заинтересованные органы, главным образом в министерство иностранных дел.
Роль квази-штаба Канариса играл подотдел «Зет». Его шефом бессменно являлся Ганс Остер, главный доверенный Канариса. Подобно Канарису, он был убежденным монархистом консервативного толка, сторонником возрождения «величия» Германии, но так же, как и шеф, пытался добиться полюбовного соглашения с западными державами, прежде всего с Англией. Вероятно, это обстоятельство способствовало установлению между Остером и Канарисом доверительных отношений. Остер, в отличие от Канариса, был менее осторожным и менее искусным политиком и заговорщиком и довольно быстро оказался на заметке у гестапо. Он постоянно отпускал едкие реплики в отношении «Эмиля» — так именовали в кругу фрондирующих военных Гитлера.
Еще в предвоенные годы руководство Абвера развернуло за рубежом сеть резидентур, «имплантированных» в аппараты посольств. Эти новые филиалы Абвера — так называемые КО (сокращение от «Кригсорганизатион» — «военная организация») располагались в нейтральных странах или государствах, поддерживавших юридически или фактически союзные отношения с Германией. Резиденты, как правило, опытные офицеры военной разведки, действовали под ложными именами и были аккредитованы обычно как коммерческие атташе.
КО вели как военную, так и политическую разведку не только, иногда не столько в стране пребывания, но и третьих странах, расположенных в данном географическом регионе, а иногда и за его пределами. Почти все КО представляли собой центры управления обширной сетью филиалов, действовавших «под крышей» консульств. К примеру, КО «Мадрид», учрежденная после окончания гражданской войны в Испании, имела филиалы при консульствах в Сан-Себастьяне, Барселоне, Севилье, Тетуане и некоторых других городах.
Секретная агентура еще в годы первой мировой войны весьма интенсивно дополнялась различными техническими средствами добывания информации. Часто более ценных успехов добиваются не шпионы, а криптоаналитики, проникающие в тайны иностранных кодов и шифров. В 1933–1938 годах центр криптоанализа являлся структурным элементом штаб-квартиры Абвера. Но после реорганизации в 1938 году аппарата Верховного Командования вооруженными силами он стал независимым от Абвера, получив наименование ОКВ/Ши. Разместившись по соседству с ведомством Канариса, этот орган постепенно превратился в головное учреждение целой системы. В начале главными поставщиками перехваченных радиограмм были лишь две радиостанции, одна из которых располагалась в Трейенбритцене, в 30 км юго-западнее Берлина, а вторая близ Нюрнберга. Они вели круглосуточное наблюдение за эфиром, перехватывая радиограммы военных и политических органов многих стран. В структуру ОКВ/Ши входили пять отделов, из которых наиболее важными были 4-й и 5-й (так называемое Бюро Б). В административном отношении ОКВ/Ши подчинялся начальнику войск связи, а через него созданному в 1938 году Штабу оперативного руководства вермахта в лице его шефа генерала Йодля.