По своему служебному положению он имел доступ к секретным документам и знал, что иностранная разведка готова заплатить за них хорошие деньги. Подполковник Гримм стал предателем по собственной инициативе. Предательство среди русских офицеров в Российской империи всегда было редчайшим явлением. Однако этот человек был исключением. Он заранее заготовил письмо с предложением своих услуг и решил лично отвезти его в Берлин. Позднее на допросе Гримм заявил, что ему судьбой было предопределено стать шпионом.
Летом 1896 г. он отправился в Германию. В Берлине Гримм нашел здание Генерального штаба и долго объяснял швейцару, что желает встретиться с офицером, говорящим на русском языке. После длительных препирательств, так как Гримм не знал иностранных языков, его приняли представители германской разведывательной службы. Старший из них выслушал его предложение и сообщил, что германский Генштаб охотно воспользуется его услугами. Новоявленному шпиону вручили 10 тыс. марок и взяли обещание выслать по условленному адресу все, что он сможет достать в ближайшее время. Ему вручили перечень документов, которые необходимо добыть. В первую очередь немцев интересовали карты укрепленных районов, стратегические сведения, информация о крепостях и о русской агентуре в Германии. По занимаемой им должности старшего адъютанта инспекторского отделения Гримм попросту не имел доступа к подобной информации, однако разуверять своих новых хозяев он не стал. Копии документов ему готовили писари штаба, считавшие, что выполняют казенную работу. «Гонорары» за выполненные задания он получал через банкирские конторы Вавельберга в Варшаве и Петербурге.
Для германской разведки Гримм явился весьма ценным агентом. В секретных агентурных списках он значился под номером два. В 1899 г. хозяева потребовали от Гримма подлинники подробных отчетов по всем отраслям деятельности военного ведомства за год. Это были так называемые «Всеподданнейшие доклады по военному министерству» и «Расписание сухопутных войск». На этот раз шпион прихватил с собой для маскировки жену. 15 июля он прибыл в Берлин. История снова повторилась. Через швейцара вновь вызвали первого попавшегося офицера, который отвел его прямо к начальнику «русского отделения». Документы, доставленные Гриммом, произвели на немецких разведчиков сильное впечатление. За привезенную информацию предатель получил 6 тыс. марок и новое задание: немцам требовались топографические карты и фотоснимки ряда железнодорожных станций. Гримм тут же потребовал аванс в размере 2 тыс. марок.
Однако эти деньги очень быстро кончились, и Гримм решил пойти на очередную авантюру: выйти на связь с австрийской разведкой. В конце 1899 г. он составил письмо, аналогичное берлинскому, а затем, явившись в Варшаве домой к австрийскому консулу барону Геккингу-о-Карроль, попросил срочно переправить это письмо начальнику Генерального штаба. Дипломат сам был опытным шпионом и явно опешил от такого предложения. Однако после некоторых колебаний согласился — и через пять дней вручил Гримму конверт с приглашением лично приехать в Вену для переговоров. Через неделю, взяв недельный отпуск, Гримм выехал курьерским поездом в Вену, прихватив с собой документы, которые прошли апробацию в немецкой разведке.
Прибыв вечером следующего дня в Вену, Гримм не захотел ждать, а сразу же бросился на поиски Военного министерства. Позднее на допросах он подробно и красочно расскажет о своих «мытарствах» по вечерней Вене. Лишь поздно вечером он нашел сотрудника австрийской разведслужбы майора Носека, который сразу доставил его к офицеру, ведавшему нелегальной агентурой. Им оказался Юлиан Дзиковский, который был хорошим специалистом в области конспирации. Для начала он сделал новому агенту серьезный выговор, а затем, соблюдая все правила конспирации, отвез его в гостиницу. На следующий день на встрече с начальником разведывательного отделения выяснилось, что австрийцев больше всего интересуют вопросы стратегического характера, связанные с войсками Киевского военного округа, а также планы крепостей Ивангород и Дубно, «не исключая инструкций по обучению войск, приказов по округам, копий бумаг по изменению штатов, по увеличению войсковых частей, по изменениям в дислокации и т. д.». На следующий день условились о каналах связи: для телеграмм и писем дали адрес в Вене, а документы велели отправлять через консула. Шпиону передали средства для тайнописи, а также «гонорар» за услуги, которые оценили в 5 тыс. руб.
В начале 1901 г. в Вене получили первую посылку от нового агента. Гримм активно искал связи в Киевском военном округе. Особых успехов на этом поприще он не добился, однако после его ареста около мусорной ямы во дворе штаба Варшавского военного округа был обнаружен план позиций крепости Ивангород. По месту своей службы шпион стремился получить доступ к секретной информации вне своего отделения. Прежде всего он попытался найти доступ к материалам мобилизационного отделения. При этом шпион проявил большую изобретательность. Воспользовавшись тем, что в Варшавском военном округе сменилось руководство мобилизационного отделения, Гримм предложил свои услуги для оказания помощи по приему дел подполковнику Пустовойтенко и в его отсутствие взял секретные документы и передал их для переписки трем писарям. Не меньшую изобретательность проявил он при получении совершенно секретных сведений о дислокации и численности корпусов, входящих в состав военного округа. Гримм заставлял трудиться на себя штабных писарей Кречатовича, Куриловича и др. Курилович, получив очередное задание от Гримма, как-то в сердцах воскликнул: «Удивительно, зачем это адъютанту понадобился третий экземпляр "Всеподданнейшего отчета". Уже просто надоело!»
Одновременно Гримм усилил меры предосторожности, старался реже встречаться с австрийским консулом, предпочитал деньги получать лично сам в Вене. Он договорился с австрийцами, что вся корреспонденция будет отправляться в Вену под псевдонимами «Иван», «Софи», «Рубин», «Зарубин». Главным движущим мотивом предательства Гримма оставались деньги. Он постоянно набивал себе цену, сообщая австрийским разведчикам, что у него есть сообщники в Петербурге, через которых можно получить сверхсекретную информацию. Во время своего последнего визита в Вену он привез «Инструкцию командующему войсками по управлению Варшавским военным округом» и «Секретную часть всеподданнейшего отчета командующего войсками за 1899 г.». Очередной гонорар составил 12 тыс. руб. Однако начальник австрийской разведслужбы потребован съездить в Петербург. Гримм срочно выехал и попытался установить связи с офицерами Главного штаба.
На службе дела шли хорошо. Командующий войсками Варшавского военного округа представил его к награде за усердный труд, однако Главный штаб это ходатайство отклонил, и Гримм собирался выяснить причины в наградном отделении. К тому же он собирался приобрести доходное имение, которое продавалось по дешевой цене неким Гольдштейном. Гримм запросил со своих венских хозяев 30 тыс. руб., заверив их, что дела идут хорошо. Однако деньги на банкирскую контору Вавельберга не поступали. Хуже дела обстояли в личной жизни. Обострились отношения с женой и любовницей Серафимой Бергстрем, которая выполняла роль связной и уже несколько раз перевозила в Вену материалы, собранные Гриммом.
К этому времени русской разведке в Вене удалось завербовать одного из сотрудников австрийской разведки. Именно этот агент сообщил, что в штабе Варшавского военного округа действует австрийский шпион. Однако настоящей фамилии предателя он не знал. Гримм об этом не подозревал и продолжал собирать информацию для отправки в Вену. Неожиданно напомнили о себе сотрудники германской разведки. Ее сотрудники напомнили об авансе и предложили встретиться у германского вице-консула между 2 и 5 марта 1902 г. Для немцев Гримм специально отложил два документа, подготовленных для передачи австрийцам. Однако на этот раз передать документы не удалось.
Обстоятельства сложились так, что через Варшаву должен был проехать наследник австрийского престола эрцгерцог Франц Фердинанд, и поэтому австрийский МИД дал указание консулу воздержаться от сношений со своей секретной агентурой. Гримм ничего не знал об этом. Он подготовил документы и письмо, в котором просил 8 тыс. руб. за свои услуги. Однако барон Геккинг-о-Карроль принять пакет отказался. Гримм приходил к консулу семь раз и каждый раз получал вежливый отказ. В конце концов он оставил пакет у дворника. Только после этого консул согласился принять своего агента вечером 28 января. Визит эрцгерцога должен был к этому времени завершиться.
Однако тем временем русский агент из Вены сообщил, что шпион, разыскиваемый в России, отправил из Петербурга в конце ноября телеграмму в Вену. Началось расследование, которое возглавил сам начальник штаба Варшавского военного округа. Поскольку до 1906 г. специальных контрразведывательных отделений в штабах военных округов не было, то его проводили сотрудники отчетного отделения при участии полиции и жандармов. Начальник штаба округа срочно выехал в Петербург. В ходе расследования выяснилось, что в гостинице «Гранд-отель № 2» в день отправки 28 ноября останавливался Эмиль Рупп, прибывший из Варшавы с интендантским чиновником А. Фетисовым. Как выяснилось, они были привезены в гостиницу подполковником, приметы которого позволили опознать А. Н. Гримма. За ним было установлено тайное наблюдение.
