Однако тем временем русский агент из Вены сообщил, что шпион, разыскиваемый в России, отправил из Петербурга в конце ноября телеграмму в Вену. Началось расследование, которое возглавил сам начальник штаба Варшавского военного округа. Поскольку до 1906 г. специальных контрразведывательных отделений в штабах военных округов не было, то его проводили сотрудники отчетного отделения при участии полиции и жандармов. Начальник штаба округа срочно выехал в Петербург. В ходе расследования выяснилось, что в гостинице «Гранд-отель № 2» в день отправки 28 ноября останавливался Эмиль Рупп, прибывший из Варшавы с интендантским чиновником А. Фетисовым. Как выяснилось, они были привезены в гостиницу подполковником, приметы которого позволили опознать А. Н. Гримма. За ним было установлено тайное наблюдение.
Одновременно пришло сообщение от русского агента из Вены. Он информировал, что в Вену приезжала некая дама, которая доставила в Военное министерство подлинники русских секретных документов. Они были перефотографированы. Агенту удалось даже раздобыть фотографию неизвестной русской дамы, которая была переслана начальнику штаба Варшавского военного округа. Сотрудники департамента полиции установили, что это фотография Серафимы Бергстрем. Гримм об этом ничего не подозревал. 28 января он не пришел на встречу с австрийским дипломатом, поскольку был приглашен на охоту. Они встретились только 12 февраля. На этой встрече Гримм узнал, что ответа из Вены дипломат не получил, а 28 января у него был некий Мюллер, который мог доставить посылку. Майор Эрвин Мюллер являлся в это время австрийским военным агентом в России. Это был крупнейший австрийский разведчик, флигель-адъютант австрийского императора. Австрийский консул особо подчеркнул, что Мюллер ждал Гримма и очень хотел его видеть. В настоящее время он находится в Петербурге, и Гримм может передать ему письмо через консула.
Гримм очень быстро подготовил очередную посылку. В письме он жаловался на консула и просил денег за высланные ранее «Всеподданнейшие доклады по военному министерству» за 1899 и 1900 гг. К письму было приложено «Расписание о новобранцах последнего призыва». 17 февраля Гримм пришел в консульство за ответом, но получил только запечатанный пакет. В нем оказались 5 тыс. руб. и возвращенные доклады по военному министерству за 1899 и 1900 гг. Это было последнее, что удалось сделать Гримму. 20 февраля 1902 г. в 3 часа дня А. Н. Гримм был арестован. Практически одновременно были арестованы Серафима Бергстрем, Рупп, Фитисов и писари штаба округа. Все они были заключены под стражу в 10-й павильон Александровской крепости Варшавского военного округа.
Гримм сознался сразу же и стал давать показания. Впрочем, улик против него было достаточно. Во время допросов он каялся, плакал, делал заявления о своих патриотических чувствах. Он категорически отрицал соучастие Серафимы Бергстрем, ясно понимая, что чем шире круг сообщников, тем тяжелее наказание. Доказать виновность Бергстрем не удалось, и в конце концов дело против нее было прекращено. Во время следствия была полностью доказана невиновность Руппа, Фитисова и писарей штаба округа. Австрийский консул Геккинг-о-Карроль и военный агент майор Эрвин Мюллер были в ультимативном порядке высланы за пределы России. В последнем «мы потеряли энергичного и толкового работника», с горечью констатировал глава австрийских спецслужб. По свидетельству начальника Разведывательного бюро австрийского Генерального штаба Макса, Ронге, «в 1902 г. разведывательной деятельности против России был нанесен тяжелый удар». Разоблачение А.Н. Гримма совпало по времени с вербовкой сотрудника австрийского разведывательного отделения Альфреда Редля. Можно предположить, что именно он пресек губительную деятельность русского иуды.
Следствие проводилось под личным контролем военного министра А. Н. Куропаткина. Оно вскрыло серьезный ущерб, нанесенный деятельностью Гримма русской армии. Документы, переправленные в Вену и Берлин, содержали важную секретную информацию об организации, мобилизационных способностях русской армии. Успешной работе шпиона во многом способствовал плохой контроль за хранением документов секретного делопроизводства. Частным определением военного министра начальнику Штаба Варшавского военного округа предлагалось навести здесь порядок.
Вина Гримма была полностью доказана, и предателя ожидал суровый приговор. По существующему российскому законодательству смертный приговор мог быть вынесен только в случае, когда российский подданный «будет возбуждать какую-либо иностранную державу к войне или иным неприязненным действиям против России или с тем же намерением сообщать государственные тайны иностранному правительству». В действиях Гримма не было обнаружено намерения подтолкнуть Австрию к войне с Россией, и поэтому казнить его было нельзя. 30 мая 1902 г. состоялось заседание Варшавского военно-окружного суда. По его решению подполковник армейской пехоты, старший адъютант Штаба Варшавского военного округа А. Н. Гримм был приговорен к лишению воинского звания, дворянского достоинства, чинов, орденов и всех прав состояния, исключен из военной службы и сослан на каторжные работы сроком на 12 лет. Приказ об этом по войскам Варшавского округа был объявлен 27 июня 1902 г.
Последствия от ущерба, нанесенного деятельностью предателя, были ликвидированы. Тем не менее разразившийся скандал подтолкнул руководство Военного министерства Российской империи принять конкретные организационные меры. Речь идет о создании специальной службы военной контрразведки для противодействия иностранному военному шпионажу.
Военным министром России с 1898 г. был генерал от инфантерии, генерал-адъютант А. Н. Куропаткин, прошедший хорошую разведывательную подготовку. Он происходил из небогатой дворянской семьи, закончил Павловское военное училище и проходил воинскую службу в Туркестане. В составе 1-го Туркестанского стрелкового батальона А. Н. Куропаткин отличился при штурме Самарканда во время бухарского похода. После окончания Академии Генерального штаба по первому разряду был отправлен в командировку в Германию, Францию и Алжир, принимал участие в Алжирской экспедиции французских войск. После возвращения в Россию Куропаткин был переведен в Генштаб и направлен в Туркестанский военный округ, где принимал участие в подавлении Кокандского восстания. Во время русско-турецкой войны был начальником штаба 16 пехотной дивизии, которой командовал генерал М. Д. Скобелев. С 1878 г. заведовал Азиатской частью Главного штаба и одновременно был профессором кафедры военной статистики Академии Генштаба. В 1879-1883 гг. командовал Туркестанской бригадой в Средней Азии, был начальником Туркестанского отряда в Ахал-Текинской экспедиции. В составе войск под общим командованием М. Д. Скобелева особенно отличился при штурме крепости Геок-Тепе. Затем в течение восьми лет был начальником Закаспийского края, основал там несколько городов, содействовал развитию земледелия, промышленности и торговли. При его участии были открыты русские школы и проведена судебная реформа. Он был хорошим администратором, отличался большой личной храбростью, вдумчивостью и обстоятельностью при принятии решений — порой это граничило с нерешительностью. Хорошо знавший его прославленный русский полководец М. Д. Скобелев дал ему такой совет: «Помни, что ты хорош на вторые роли. Упаси тебя Бог когда-нибудь взять на себя роль главного начальника, тебе не хватает решительности и твердости воли… Какой бы великолепный план ты ни разработал, ты никогда его не сумеешь довести до конца».
В 1886 г. генерал-майор А. Н. Куропаткин был направлен в секретную командировку в Турцию для сбора сведений о турецких укреплениях на Босфоре. Впоследствии он вспоминал об этом: «Сведения о босфорских позициях в Главном штабе были недостаточны. Работа для пополнения их и определения, какими минимальными силами можно ограничиться при занятии нами Босфора, по воле государя была поручена мне, но она требовала большой тайны, поэтому пришлось принять на себя "для пользы службы" роль секретного агента, или попросту шпиона. Работы нужно было производить только переодетым, с фальшивым именем. Поимка такого лица с чертежами турецких укреплений привела бы в Турции к быстрой расправе — виселице. Заступничества нашего посла в Константинополе не следовало ожидать: он даже не должен был знать о моей командировке. Я мог надеяться (и то не на защиту в случае поимки, а на помощь при работах) на нашего военного агента в Константинополе генерала Филиппова и его помощника подполковника Чичагова, к тому же с первым можно было видеться только секретно».
Куропаткину был выдан паспорт на имя коллежского асессора Александра Николаевича Ялозо, подписанный генерал-губернатором Петербурга Д. Ф. Треповым. На Босфоре он должен был появиться в качестве скупщика скота. Прикрытие этой миссии осуществлял секретный агент Ахмет Заиров. Секретная миссия генерала Куропаткина завершилась успешно.