Будучи трудолюбивым и исполнительным чиновником, хорошо разбираясь в законах, Горемыкин быстро проходит одну ступень служебной лестницы за другой. В январе 1867 года его утверждают в должности полоцкого вице-губернатора, но в декабре того же года он уже уволен «по прошению» и причислен к канцелярии наместника Царства Польского. Через полгода оставляет и эту должность и переходит в Министерство внутренних дел, где назначается келецким вице-губернатором.
Близко соприкасаясь с крестьянским вопросом, к тому же обладая хорошими аналитическими способностями, Горемыкин собрал и систематизировал обширный материал, на основе которого написал книгу «Очерки истории крестьян в Польше» (1869 год). Печать сразу же отреагировала благожелательными отзывами — в «Библиографе», «Вестнике Европы», «Санкт-Петербургских ведомостях». Возможно, общественный интерес к этой проблеме сыграл не последнюю роль в награждении его серебряной медалью за деятельность по «устройству крестьян в Царстве Польском», которую он получил в июле 1866 года. Но его деятельность имела и обратную сторону — чуть раньше он удостоился и другой «почетной» медали — за «усмирение польского мятежа 1863–1864 гг.». Карьера Горемыкина складывается весьма успешно, и в ноябре 1869 года он становится коллежским советником.
В 1869–1893 годах наряду со своими служебными обязанностями Горемыкин выполняет функции почетного мирового судьи по Боровичскому уезду — избирался он шесть раз, каждый раз на трехлетний срок.
В июне 1873 года Горемыкин становится членом, а с 1880 года — председателем временной комиссии при МВД по крестьянским делам губерний Царства Польского. Когда в октябре 1880 года император Александр II решает провести глубокую и всестороннюю ревизию Саратовской и Самарской губерний, ответственность за которую возлагает на сенатора
И. И. Шамшина, Горемыкина прикомандировывают к комиссии в качестве старшего чиновника. Он непосредственно занимается исследованием экономики, быта и юридического положения крестьян, результатом чего стала обширная и толковая записка по этому вопросу.
В первой половине 1882 года Горемыкин состоял в комиссии по выработке правил о выкупе наделов в помещичьих имениях великороссийских и малороссийских губерний, решал и другие вопросы по так называемому крестьянскому делу. Здесь очень пригодился ему опыт, накопленный им в бытность его в Царстве Польском.
С 18 июня 1882 года в чине тайного советника Иван Логгинович был назначен членом консультации, учрежденной при Министерстве юстиции. Одновременно на него были возложены обязанности товарища обер-прокурора первого департамента Правительствующего сената, входящего в отделение по крестьянским делам. Благодаря энергии и трудолюбию он успевал многое — неоднократно исполнял обязанности обер-прокурора, участвовал в различных комиссиях и комитетах, в частности в работе Особого совещания для рассмотрения дел об административной высылке.
В феврале 1884 года Горемыкин занял место обер-прокурора второго департамента Правительствующего сената. Грамотного юриста и добросовестного чиновника нещадно эксплуатировали, привлекая ко множеству других дел. Он одновременно исполнял обязанности обер-прокурора первого департамента и председателя хозяйственного комитета при нем, заведовал обер-прокурорскими делами первого общего собрания Сената, входил от Министерства юстиции в Особую комиссию при Государственном совете, созданную для «всестороннего обсуждения способов кодификации Особого приложения к законам о состояниях», а также в другую особую комиссию, но образованную уже при Министерстве внутренних дел, — эта занималась разработкой вопросов «о мерах к прекращению наплыва иностранцев в западные окраины», но и это еще не все, Горемыкин как опытный специалист подготовил и издал Сборник решений Правительствующего сената по крестьянским делам (1889 год). Следующим был солидный Свод узаконений и распоряжений правительства об устройстве сельского населения и учреждений по крестьянским делам, к нему прилагались разъяснения, содержащиеся в решениях Правительствующего сената и в постановлениях и распоряжениях высших правительственных учреждений в двух томах (1891 год). Этот Свод представлял большую ценность для практических судебных и прокурорских работников и выдержал за несколько лет пять изданий, каждый раз пополняясь новыми материалами. Свод узаконений хорошо раскупался и принес его составителю немало денежных дивидендов.
27 ноября 1891 года Горемыкин становится товарищем министра юстиции (министром тогда был Н. А. Манасеин), с 1894 года — сенатором и управляющим межевой частью на правах товарища министра. В апреле 1895 года он покидает Министерство юстиции и переходит в Министерство внутренних дел на должность товарища министра, оставаясь при этом сенатором. Этим назначением он был обязан обер-прокурору Святейшего синода К. П. Победоносцеву, который рекомендовал его императору, хотя сам министр И. Н. Дурново предпочел бы видеть на этом месте других кандидатов. Карьера продолжает складываться блестяще — спустя полгода Горемыкин становится управляющим Министерством внутренних дел, а 6 декабря 1895 года, опять же с помощью Победоносцева, его утверждают в должности министра внутренних дел.
Как происходило это назначение, рассказал в своих воспоминаниях С. Ю. Витте, в то время министр финансов, а впоследствии — председатель Совета министров: «— А что вы думаете по поводу назначения Горемыкина? — спросил меня государь. Я ответил, что Горемыкина я сравнительно очень мало знаю, ничего о нем определенного сказать не могу, но что вообще Горемыкин производит на меня впечатление человека порядочного, причем добавил, что, по всей вероятности, Константин Петрович (Победоносцев. — Авт.), между прочим, рекомендует Горемыкина потому, что Горемыкин правовед и Константин Петрович тоже правовед, а известно, что правоведы, так же как и лицеисты, держатся друг за друга, все равно как евреи в своем кагале. И если, — сказал я, — у вашего величества никого больше не имеется в виду, то, может быть, вы решитесь назначить Горемыкина? Государь ответил: — Да, я назначу Горемыкина».
Русское общество, которое, как известно, большей частью негативно относилось ко всем царским министрам, сразу же откликнулось на это назначение несколькими сатирическими стихами, ходившими по рукам. В одном из них, названном «Антон Горемыка», все предыдущие министры внутренних дел выводились как «горемычные души». Заключительная строфа содержала едкий каламбур:
«Да, обманчивой надежде,
Говорю тебе, не верь,
Горе мыкали мы прежде,
Горемыкин и теперь».
По иронии судьбы Горемыкин в числе официальных лиц года присутствовал на торжествах по случаю коронования императора Николая II в мае 1896 года, закончившихся, как известно, Ходынской катастрофой.
