Отдел абвер-3 проводил контрразведывательные мероприятия в армии и военной промышленности, присматривал за неразглашением военной тайны и организовывал внедрение агентов в иностранные спецслужбы. Когда полыхнула Вторая мировая война, этот отдел занялся борьбой с антифашистами в самой Германии и на оккупированных территориях, плотно взаимодействуя с тайной государственной полицией и службой безопасности. Он состоял из 15 подотделов. Общее руководство осуществлял 3-А, 3-В занимался общими вопросами безопасности, 3-Н — контрразведкой в сухопутных войсках, 3-L — контрразведкой в военно-воздушных силах. Контрразведкой на флоте ведал подотдел 3-М, контрразведывательной защитой промышленности — 3-Wi. Аналитикой занимался 3-G, 3-D осуществлял дезинформацию противника, 3-N и 3-К — контрразведку в СМИ и на радиовещании. Учебная структура отдела была на попечении 3-U, военная безопасность — 3-Z, контрразведка и вербовка агентов в лагерях для военнопленных — 3-К, зарубежная контрразведка (внедрение в спецслужбы) -3-F, радиоперехват и расшифровка сообщений — 3-F/Fu.
В 1936 г. в при абвере-3 организовали полевую тайную (военную) полицию для содействия контрразведке в осуществлении арестов и допросов. Численность полиции в середине Второй мировой войны достигала 7000 человек. Однако в 1942 г. ее функции перешли к СД.
Отдел «Заграница» включал в себя 17 подотделов, работал с МИДом, давал указания военным атташе, собирал информацию из доступных источников (литературы, радио).
Основной отдел абвера — отдел Z, в структуру которого входили 7 подотделов. Направления деятельности — административные, кадровые, финансовые, юридические вопросы, ведение центрального архива и документации на агентов.
Абвер поучаствовал в подготовке оккупации Чехословакии, развязывании войны с Польшей и Францией. Несомненным успехом немецкой спецслужбы можно считать захват архива польской разведки, ликвидировать который не успели. Немцы обнаружили бункер, где хранился архив. Материалы перевозили в Германию на 6 грузовых машинах. Нацистам оказались весьма полезными сведения о польских агентах в СССР и Европе, о расположении советских и британских воинских частей. Полученная информация учитывалась при планировании операций «Морской лев» (предполагавшееся вторжение на острова Туманного Альбиона) и «Барбаросса» (нападение на СССР). Часть раскрытых польских агентов была перевербована.
Практически сразу после начала войны с СССР абвер потерял весомую долю своего значения. В июне 1941 г. командование вооруженными силами Германии, ревностно наблюдавшее за ростом влияния руководителя разведки, недовольное его вмешательством в военные вопросы и испытывавшее «головокружение» от успехов немецкой армии на Западе, «продавило» директиву, в соответствии с которой за абвером закреплялась агентурная работа исключительно в прифронтовой зоне. Таким образом ранее обширная деятельность абвера теперь свелась к стандартной тактической разведке под контролем военных. Впрочем, в сентябре 1941 г., когда голова у нацистов перестала кружиться, Гитлер отменил директиву.
Еще до непосредственных боевых действий в СССР немецкая разведка стала забрасывать на территорию противника многочисленные диверсионно-разведывательные группы и отдельных террористов. Перед ними ставилось множество задач. Они оборудовали склады оружия, места для парашютных десантов, производили взрывы, нарушали связь, размещали ориентиры для воздушных бомбардировок на военных, промышленных и транспортных объектах. Также они отравляли воду, привлекали к сотрудничеству кадры, которые подавали бы сигналы и указывали цели для самолетов, формировали антисоветские банды, совершали поджоги.
Начиная с мая 1941 г., диверсанты приступили к своей работе. Например, в Таурагском уезде Литовской ССР, расположенном вдоль границы с подконтрольной немцам территорией, огнем были уничтожены приблизительно 400 га леса, в Тракайском уезде — 200 га. Пожары, устроенные «засланцами», тушили всем миром: пограничники, военные, местные жители, которые к тому же очень помогли в поимке террористов. В период с 18 по 22 июня 1941 г. на минском направлении чекисты нейтрализовали 211 диверсионных групп и одиночек.
Недалеко от Варшавы появилась штаб-квартира специальной структуры под названием Вали- II, призванная усилить эффективность диверсионно-террористической деятельности. Под ее контролем находились диверсионные группы, которые закреплялись за воинскими подразделениями и на значимых направлениях фронта засылались в советский тыл для его разрушения.
Когда немцы проиграли Московскую битву, Гитлер раскритиковал качество разведданных об СССР, полученных абвером. Канарис попытался исправить положение с помощью «тотального шпионажа» — массовой заброски агентов. Для этого не хватало людей. Тогда в Германии и на оккупированных территориях организовали 60 специализированных учебных заведений для подготовки агентов. Их вербовали из лояльно настроенных местных жителей и военнопленных. Поскольку управленческий аппарат стал слишком громоздким и неуправляемым, в Риге, Минске, Каунасе, Таллине, Вильнюсе были учреждены региональные представительства немецкой разведки.
Аналогичную с абвером диверсионную работу выполнял разведывательный орган «Цеппелин» под руководством Отто Скорцени. Во многих случаях абвер и «Цеппелин» проводили совместные мероприятия.
В 1942 г. около г. Бологое Тверской области диверсанты Отто Скорцени пустили под откос несколько советских поездов, перевозивших войска. Сотрудники немецкой разведки в 1942 г. взорвали мост возле Минеральных Вод, заняли мост рядом с Пятигорском и ждали, пока не подойдут немецкие части.
В общей сложности в 1942 г. на территорию Советского Союза были заброшены примерно 20 000 агентов. Но надежды, связанные с тотальным шпионажем, не оправдались. С октября 1942 по сентябрь 1943 г. были подготовлены и засланы 150 разведывательных и диверсионных команд. Однако вернулись из них лишь 2, к тому же они не сообщили ничего ценного. Остальных поймали смершевцы или они сами сдались. Серьезными неудачами абвера признают советские операции «Монастырь» и «Березино». Советские разведчики по всем параметрам переиграли немцев. Конечно, этому способствовало то, что 1 из участников «Кембриджской пятерки» Джон Кернкросс имел непосредственный доступ к материалам расшифровки англичанами немецких сообщений.
Были у абвера и успешные операции. В частности, операция «Салям», в ходе которой высаживался десант агентов-радистов в тыл британских войск в Северной Африке, и операция «Маргарете-1» как часть кампании по захвату Венгрии. Абверовцы, диверсанты Скорцени захватили стратегические объекты в Будапеште и задержали почти все руководство страны, чтобы она не вышла из войны.