В 1928 году резидентурой была также получена докладная записка военного атташе Японии в Москве генерала Касахары, представленная им в Генеральный штаб, в которой обосновывалась необходимость начала военных действий против СССР. Будучи ярым врагом Советского Союза, но далеко не тупым человеком, Касахара подчеркивал в своей докладной записке, что «воевать с СССР нужно сейчас, или не воевать никогда впоследствии». Позиция генерала была должным образом оценена японским военным руководством: после возвращения из Советского Союза он был назначен на должность начальника 5-го (русского) отдела 2-го (разведывательного) управления Генерального штаба японской армии.
На процессе японских военных преступников в Токио в 1946–1948 годах генерал Касахара выступал, благодаря покровительству американцев, не как обвиняемый, а как свидетель. На вопросы трибунала он отвечал уклончиво до тех пор, пока ему не были предъявлены фотокопии его докладной записки. Только после этого он полностью признал не только подлинность документа, но и свое авторство.
Работа Федора Карина в качестве резидента ОГПУ в Харбине была настолько успешной, что в начале 1930-х годов харбинская резидентура стала главной «легальной» резидентурой внешней разведки в Китае. Особое внимание Кариным уделялось террористическим планам японской военщины в Маньчжурии, каналам засылки японских разведчиков в СССР, деятельности антисоветских эмигрантских центров. Им была получена информация о том, что японская военная миссия в Харбине приступила к созданию в приграничных районах вооруженных банд белогвардейцев для организации восстания на Дальнем Востоке, чтобы использовать данное обстоятельство в качестве предлога для ввода японских войск в СССР, якобы для «защиты японских подданных».
Одновременно руководимая Кариным резидентура ОГПУ срывала попытки японских спецслужб создать на территории СССР крупные шпионско-диверсионные формирования. В эти группы, подготавливавшиеся для засылки на территорию нашей страны, внедрялась надежная агентура, которая информировала резидента о планах японцев в отношении СССР и доводила до сведения японцев дезинформацию, специально подготовленную аналитиками в Москве. За период пребывания в Харбине Кариным были созданы серьезные заделы в работе против Японии, которые использовались советской разведкой еще многие годы. Достаточно отметить, что сотрудник руководимой им резидентуры В.И. Пудин получил сотни секретных японских документов и добыл около 20 японских и китайских шифров. Являясь в конце 1930-х годов заместителем резидента внешней разведки в Софии, В. Пудин заполучил дипломатические шифры, которыми пользовался японский МИД в Европе, благодаря чему Лубянка читала шифрованную переписку японцев с немцами в годы Великой Отечественной войны.
В 1927 году завершилась служебная командировка Федора Карина в Китай. За успешную работу в качестве резидента он был награжден нагрудным знаком «Почетный чекист».
В ноябре того же года разведчик был направлен в США для организации там работы с нелегальных позиций в качестве резидента-нелегала. За океаном он находился до середины 1928 года. Карину удалось обосноваться в Нью-Йорке, приобрести надежные документы, легализоваться и создать прикрытие для ведения работы с нелегальных позиций. Созданной им нелегальной резидентуре на связь была передана цепная агентура, которая добывала документы госдепартамента США, в том числе копии докладов послов США в Европе и на Дальнем Востоке, а также некоторые материалы по экономической и научно-технической разведке. Работа Карина на посту резидента положительно оценивалась Центром.
В июне 1928 года по указанию Центра Карин из США переехал в Германию, где также возглавил нелегальную резидентуру. Интересно, что для въезда в эту страну он воспользовался подлинными швейцарскими документами своего друга и начальника Артузова, настоящая фамилия которого была Фраучи.
Нелегальная резидентура Карина в Германии состояла из шести человек, включая курьера и содержателей конспиративной квартиры. Несмотря на это, она располагала обширной агентурной сетью, имевшей выходы на белогвардейскую вооруженную организацию Русский общевоинский союз (РОВС) во Франции, правительственные учреждения Германии, Франции и США. Поскольку с агентурой в других странах поддерживать связь через курьеров было затруднительно, в марте 1931 года Карин был переведен на нелегальную работу во Францию.
Во Франции Карин проработал до августа 1933 года и добился впечатляющих результатов в вербовочной работе. Руководимая им нелегальная резидентура имела «своих людей» в спецслужбах, важных правительственных учреждениях, выходы на главарей РОВС Кутепова и Миллера. За успешную работу во Франции Карин был награжден вторым нагрудным знаком «Почетный чекист».
Из служебной аттестации за 1933 год, подписанной начальником Иностранного отдела ОГПУ А.Х. Артузовым:
«Тов. Карин Федор Яковлевич, член ВКП(б) с 1919 года, работник ВЧК — ОГПУ с 1919 года является одним из наиболее опытных и квалифицированных руководителей разведки в условиях подполья. Считаю тов. Карина в первом десятке лучших организаторов-разведчиков СССР».
По возвращении в Москву в сентябре 1933 года Ф. Карин был назначен начальником 1-го отделения ИНО ОГПУ, занимавшегося ведением разведки в США и Европе. Ему было присвоено звание старшего майора госбезопасности, что соответствовало армейскому званию генерал-майор.
В связи с приходом к власти в Германии Гитлера и возросшей опасностью войны новому начальнику ведущего отделения внешней разведки предстояло реорганизовать работу «легальных» и нелегальных резидентур, прежде всего в Германии, с таким расчетом, чтобы на постоянной основе получать упреждающую информацию о планах и намерениях нацистов, в том числе о подготовке ими к войне. Эту задачу Карин решал успешно. Под его руководством были созданы «запасные площадки» германской нелегальной резидентуры ОГПУ в соседних странах. В случае осложнения обстановки в Германии предполагалось организовать с их помощью работу по Третьему рейху.
В связи с возросшей нацистской угрозой в мае 1934 года Политбюро ЦК ВКП(б) рассмотрело вопрос о координации деятельно ста Разведывательного управления РККА, Иностранного и Особого отделов ОГПУ. Решением ЦК партии начальник ИНО ОГПУ А.Х. Артузов был назначен по совместительству заместителем начальника Разведывательного управления Красной Армии. Ему было предложено в месячный срок проанализировать работу военной разведки и разработать меры по устранению недостатков, прежде всего многочисленных провалов военных разведчиков. При назначении на этот пост Артузов в качестве единственного условия оговорил право взять с собой в Разведывательное управление РККА около двадцати сотрудников ИНО ОГПУ. Просьба была удовлетворена. Федор Яковлевич Карин был переведен в военную разведку и назначен на должность начальника ее 2-го отдела, занимавшегося ведением военной разведки в странах Востока. Ему было присвоено звание комкора, что соответствовало воинскому званию генерал-лейтенант.
