Канарис был обеспокоен происками Гейдриха. Он обсудил это с Остером и Пикенброком и попытался разузнать, что могло за этим стоять. Однако на этот раз внутренняя информационная служба Остера дала осечку. Только когда два месяца спустя в Москве началась глубокая «чистка» в верхах Красной Армии из-за якобы существующего заговора против советского правительства, в ходе которой Тухачевского и целый ряд других ведущих руководителей советских вооруженных сил, как правило, после полного признания приговорили к смерти и казнили, Канарис понял, для какого подлого маневра понадобилась Гейдриху его поддержка. Гестапо подкинуло ОГПУ окольным путем, через чехословацкую разведку поддельный материал о якобы состоявшихся переговорах советского генералитета с немецкими военнослужащими, и шеф ОГПУ Ежов немедленно клюнул на это. Летом, после расстрела Тухачевского, Гейдрих, сияя от радости, рассказал Канарису во всех подробностях, как он продумал и провернул это дело. На испуганный вопрос Канариса «Зачем?» Гейдрих ответил, что у самого Гитлера была идея лишить таким способом Красную Армию ее верхушки и на многие годы ослабить ее.
По иронии судьбы Канарису было известно, что Тухачевский отнюдь не совсем безвинно был расстрелян. У него были достоверные сведения о том, что советский маршал во время своего пребывания в Лондоне в качестве представителя Советского правительства во время похорон короля Георга вел переговоры с посланцами стоящего во главе русской эмиграции в Париже генерала Миллера. Вполне возможно, что ОГПУ также было осведомлено об этом и завело судебное дело против Тухачевского, так как из судебных расследований, которые последовали одновременно с исчезновением в Париже генерала Миллера, явствовало, что в самом центре русской эмиграции во Франции имелись шпионы, которых оплачивали Советы, в том числе по крайней мере один в чине генерала. Но это, конечно, ничего не меняло в бесчеловечности методов, примененных Гейдрихом, и можно предположить, что материал, переданный гестапо, в большой степени способствовал тому, чтобы выдать на расправу руководящий состав Красной Армии.
В Канарисе в это время происходили перемены. Афера с Тухачевским — это одно из многих событий, которые дают понять, что маленькой войной нельзя справиться с самыми дурными пороками системы, так как эти пороки — лишь симптом того, что режим Гитлера является насквозь преступным и, таким образом, нельзя надеяться на очищение путем отсечения плохих элементов. Чем дольше режим будет оставаться у власти, тем больше он угрожает деморализовать имеющиеся еще порядочные элементы и постепенно разложить весь народ. Режим нужно устранить, если хочешь предотвратить тяжелейший ущерб для всего народа. Никто не знает лучше Канариса — благодаря поступающей к нему со многих сторон информации о становящейся все более коварной организации шпионской и террористической системы Гитлера, — что свергнуть национал-социалистическое правительство нормальными политическими средствами нельзя. Таким образом, спасение может принести только вооруженное восстание, а оно может быть осуществлено только вермахтом, в первую очередь, армией, так как воздушные силы слишком близко стоят к режиму благодаря их шефу Герингу, военно-морской флот численно слишком слаб, слишком отдален от центров правительства и, кроме того, его использование осложняется из-за еще слишком свежих воспоминаний о бунте 1918 года.
Канарис относился к немногим морским офицерам, которые достаточно ясно видели различия между тем временем и сегодняшним днем, так что на него не могли повлиять воспоминания. Но он достаточно хорошо знает также и людей во главе вооруженных сил, чтобы понимать, что не стоит ждать от них серьезного сопротивления Гитлеру.
Он сознает трудности лучше, чем большинство тех, кто в это время замышляет восстание против режима. Вооруженные силы уже в значительной мере больны национал-социализмом. Армия более не свободна от политической инфекции. Официальная версия, что вооруженные силы являются единственным оруженосцем и, наряду с партией, являются равноправным оплотом государства, давно уже стала фикцией. Но факт, что Гиммлер создал втихомолку свои подразделения, был в тот момент еще не самой страшной угрозой независимости армии. В результате введения всеобщей воинской обязанности характер армии коренным образом изменился. Прежнее строение созданной генералом фон Зеектом профессиональной армии подорвано, сотни тысяч молодых людей, которые прошли через гитлерюгенд и военизированную трудовую повинность, введенную национал-социалистами для их целей, принесли в казарму понятие политических, а точнее, политизированных солдат. Еще серьезней было то, что вместе со многими тысячами офицеров, пришедших на службу, наряду с порядочными и ценными элементами проникло в младший и средний офицерский состав большое число убежденных национал-социалистов и, что еще хуже, националистов-карьеристов. Но самым сомнительным кажется Канарису, что и в высшем руководстве намечаются явные признаки размывания непреходящих понятий чести и долга. Быстрый рост численности армии и вытекающий отсюда скачкообразный процесс повышения в должности честолюбивых карьеристов, в то время как компетентные и порядочные люди оттесняются на задний план. Гитлер сознательно стимулирует это развитие посредством дотаций послушным генералам. Поэтому Канарис решается не из личного честолюбия на осуществление вооруженного переворота. Несмотря на все сложности и сомнения он не видит другого пути.
Но здесь одновременно и ответ на вопрос, который в это время, то есть в 1937 году, в первый раз с полной серьезностью встает перед Канарисом, а именно: сможет ли он согласовать со своей совестью дальнейшую службу режиму, не будет ли более честно и в конце концов целесообразнее отказаться от дальнейшего сотрудничества с Гитлером и уйти из вооруженных сил. Это тот же вопрос, который задают себе в эти годы многие офицеры и чиновники, занимавшие высокое положение в Третьем рейхе. Многие просто не принимают это близко к сердцу. Другие с тяжелым сердцем ищут решения. Для Канариса в течение семи лет, пока судьба его не настигла, эта проблема никогда не переставала быть актуальной. Это мучает его с короткими перерывами дни и ночи, это мешает его внутреннему равновесию, это не дает ему буквально сидеть на месте и гонит во все новые служебные командировки, от места к месту, из одной страны в другую. Сейчас, в 1937 году, было бы проще уйти. Позже, во время войны, добровольно уйти будет гораздо сложнее, хотя ловкий человек нашел бы, пожалуй, выход, если бы ему пришло в голову решение уйти со службы. Канарис остался. Две причины были для него наиболее важными.
Он сознавал, что свержение режима может быть осуществлено только людьми, которые занимают влиятельные посты в правительстве и вермахте. Но, кроме того, он считал, что не имеет права сдавать ключевой пост главы разведки, потому что у него нет гарантий в том, что возможный преемник сможет более успешно противостоять проискам гестапо. Наконец, возможно, некоторую роль сыграла мысль, что он обязан и далее обеспечивать необходимое прикрытие для Остера и младших сотрудников, которые вместе с ним ведут неустанную борьбу с партией и СС.
Логическим выводом из этого решения является то, что Канарис в последующий период принимает активное участие в деятельности Остера, направленной на подготовку устранения национал-социалистического господства, и ищет контакты с другими группами Сопротивления; Остер держал его в курсе всего, что он предпринимал в этой области. Кроме того, он с некоторых пор связан с Шахтом, он участвует в обмене мнениями с группой служащих из отдела дипломатической службы, среди них братья Тео и Эрих Кордт, которые со знанием дела и под прикрытием Вайцзеккера стремятся подготовить за границей почву для будущего немецкого правительства, свободного от шлака национал-социализма. Несмотря на многие разочарования он снова на своей работе, чтобы довести до сознания генералов, занимающих высокие ключевые посты, что армия должна взять инициативу по свержению Гитлера. Можно видеть, что из маленькой войны против самых дурных проявлений национал-социализма постепенно развертывается война против режима в целом.
Подготовка Остера к государственному перевороту велась с большой осмотрительностью. Остер и близкие ему сотрудники положили в основу своих планов и исследований книгу с названием «Техника государственного переворота», вышедшую в начале тридцатых годов под псевдонимом Малапарте вскоре после «Захвата власти», запрещенной гитлеровским правительством; кроме того, был сделан очень подробный анализ путча Каппа и ноябрьского путча 1923 г. в Мюнхене и выведено обоснование их правила. Остер — и Канарис, с которым тот часто обсуждал свои планы, был с ним согласен — исходил не из покушения на Гитлера, как это сделали после него Гальдер, а затем инициаторы восстания 20 июля 1944 г. Более того, его концепцией было не убивать Гитлера, а арестовать его и объявить душевнобольным. Канарис и Остер сходились на том, что государственный переворот мог бы удаться только при особых политических сопутствующих обстоятельствах. Чтобы разорвать путы, в которых Гитлер держал большую часть населения, которое отнюдь не было настроено национал-социалистически, нужно было разоблачить лживость его миролюбивых заверений. Следовало убедить немецкий народ, который в преобладающем большинстве желал мира, что Гитлер поставил его на грань войны и что свержение Гитлера преследует непосредственную цель предотвратить эту войну. Заговорщики хорошо понимали, что ожидание момента, когда Гитлер ясно обнаружит свои истинные намерения, было очень рискованным, однако у них не было альтернативы, ведь нужно было избежать кровавой гражданской войны против обманутой части населения.
