В Мадриде Канарис не оставлял попыток перейти со штабной работы в строй и в конце концов добился от фон Крона согласия. Пройдя краткосрочное обучение в Германии, Канарис был назначен командиром небольшой подводной лодки, базировавшейся на Полу (теперь Пула) на Адриатике. Но война уже кончилась, Австро-Венгрия капитулировала, и германские подводные лодки вынуждены были пробираться в Германию.
Вряд ли можно удивляться тому, что убежденный монархист Канарис оказался в рядах добровольческой бригады Эрхардта — одной из наиболее надежных частей сил контрреволюции, чины которой участвовали в убийстве Карла Либкнехта и Розы Люксембург. Канарис был близок с Эрхардтом и его «правой рукой» Вольдемаром Пабстом, с братьями Пфлуг-Гартунг — известными террористами, правыми «ультра» начала 20-х годов. Известно, что он способствовал бегству одного из убийц Карла Либкнехта и Розы Люксембург, лейтенанта Фогеля. В марте 1920 года Канарис принимал участие в путче Каппа-Лютвица.
Последующие годы, вплоть до прихода к власти Гитлера, Канарис провел на кораблях флота или на береговых должностях. Есть сведения, что в 1923 году он познакомился с Гитлером, Гессом, Г. Штрассером и Шлейхером, по поручению последнего предпринял ряд поездок за рубеж с особо секретными поручениями, связанными с налаживанием в Испании, Финляндии, Голландии и Японии производства различных видов военной техники по германским образцам. Если бы Гитлер не пришел к власти, Канарис, занимавший в это время спокойный пост командира береговой базы, должен был бы выйти в отставку… Но, как оказалось, главное в его жизни было еще впереди.
Приход Канариса в Абвер совпал по времени с завершением первого, «полутайного» периода милитаризации Германии в годы нацистской диктатуры. Военная верхушка давно ждала наступления заветного дня. В начале 1933 гола Гитлер потребовал от генералитета приведения армии в течение восьми лет в состояние полной боеготовности к битве за «жизненное пространство». Однако проблема Верховного командования, стратегического руководства быстро растущим военным механизмом была практически не решена. Предметом напряженной, внешне малозаметной борьбы между несколькими группами генералов, адмиралов и высших офицеров был вопрос об организации аппарата Верховного командования, роли в нем министра обороны (военного министра), главы государства — Гитлера, командований сухопутной армией, военной авиацией и флотом.
Бломберг, военный министр и его ближайший помощник генерал Рейхенау пытались создать новый генеральный штаб вооруженных сил, который бы стоял над главными штабами видов вооруженных сил. Главнокомандующий армией генерал Фрич, а особенно генерал Бек, его помощник Манштейн отстаивали доминирующую роль армии. По их плану Генеральный штаб армии должен был исполнять функции главного штаба вооруженных сил, а главком армии стать главным советником Гитлера по военным вопросам. Геринг, а равно и Редер, относились отрицательно к планам армейских генералов. Они выступали за фактическую независимость руководимых ими видов вооруженных сил, обосновывая это тем, что будущая война якобы может быть выиграна не на земле, а в воздухе или на океанских просторах. Это самым непосредственным образом сказалось на развитии механизма военной разведки. Параллельно действовали органы «отраслевой» секретной службы, отсутствовали их координация и единый аппарат анализа, оценки и обобщения полученной информации.
Наиболее мощной разведывательной организацией до начала второй мировой войны оставался Абвер. Он несколько раз реорганизовывался, превратившись в целое Управление в аппарате Верховного командования. В его задачи входило обеспечение информацией о стратегических планах предполагаемых противников и состоянии их обороны. На Абвер была возложена также подготовка диверсий во враждебных государствах.
Центральный аппарат Абвера, располагавшийся до начала войны в том же старом здании на Тирпицуфер, разделялся на пять подотделов. Основными оперативными подразделениями были А-I, А-II и А-III, осуществлявшие руководство соответственно шпионажем, диверсиями и контрразведкой. Четвертый подотдел «Заграница» («Аусланд») — руководил службой военных атташе, а пятый «Центральный» выполнял вспомогательные задачи.
Одной из центральных фигур в Абвере был майор Генерального штаба Ганс Пикенброк, официальный заместитель Канариса, начальник А-I. Этот сын богатого бюргера родился в Эссене в 1893 году, в 1914 году добровольно вступил в имперскую армию и в 1915 году стал гусарским лейтенантом. Поражение в войне не привело к крушению его военной карьеры, хотя он и не принадлежал к офицерской элите — службе Генерального штаба, представители которой заняли лучшие места в веймарском рейхсвере. С Канарисом Пикенброк поддерживал доверительные отношения, но не был посвящен в особо тайные акции шефа. Работники центрального аппарата сами непосредственно не вели работу с агентами и знали их лишь по бумагам. Они координировали деятельность тех, кто этим реально занимался: оперативных филиалов (резидентур) в Германии и за ее пределами, а также поддерживали связи с другими органами секретной службы, получали и распределяли «заказы», пересылая полученные данные в аналитические подразделения генеральных штабов видов вооруженных сил. Отдел очень редко вмешивался в ход конкретных операций.
«А-I» делился на несколько специализированных секций, каждая из которых ведала сбором информации отдельно об армии, флоте, авиации, военной экономике (технике вооружения). Одна группа занималась шпионской техникой — фотоаппаратурой, портативными радиостанциями, симпатическими чернилами, разработкой и внедрением других средств и методов конспиративной связи между секретными агентами и их руководством. Особое внимание уделялось изготовлению подложных документов, которыми снабжались агенты. Этой работой ведал опытный специалист, некий Альберт Мюллер, по профессии химик, начавший свою деятельность еще при Николаи. Большинство сотрудников А-I были знатоками своего дела и принадлежали к категории «офицеров Е» — так называли тех, кто прибыл в Абвер из гражданской сферы, но в прошлом был кадровым офицером.
С ноября 1935 года диверсионно-саботажную службу Абвера возглавлял капитан Генерального штаба Гельмут Гроскурт. Его биография была типичной для той части немецкой буржуазной молодежи, которая была охвачена патриотическим угаром и брошена в окопы мировой войны. Ее участь в свое время блестяще описал Эрих Мария Ремарк в известном романе «На Западном фронте без перемен». После войны уцелевшие, преждевременно постаревшие юноши оказались часто по разные стороны баррикад в бурных политических событиях тех лет: одни стали членами тайных террористических ультраправых организаций, другие — коммунистами или социал-демократами. Гроскурт принадлежал к первой группе.
