Русское общество, которое, как известно, большей частью негативно относилось ко всем царским министрам, сразу же откликнулось на это назначение несколькими сатирическими стихами, ходившими по рукам. В одном из них, названном «Антон Горемыка», все предыдущие министры внутренних дел выводились как «горемычные души». Заключительная строфа содержала едкий каламбур:
«Да, обманчивой надежде,
Говорю тебе, не верь,
Горе мыкали мы прежде,
Горемыкин и теперь».
По иронии судьбы Горемыкин в числе официальных лиц года присутствовал на торжествах по случаю коронования императора Николая II в мае 1896 года, закончившихся, как известно, Ходынской катастрофой.
На посту министра внутренних дел Иван Логгинович оставался в течение пяти лет, но эти пять лет изменили его до неузнаваемости. По словам С. Ю. Витте, Горемыкин до назначения министром был человеком «довольно либерального направления», но, вступив в должность, «под влиянием свыше, боясь себя скомпрометировать, начал вести довольно реакционную политику».
О взглядах Горемыкина писали и другие мемуаристы. Вот мнение В. И. Гурко, служившего в то время в Государственной канцелярии: «Прослужив в течение долгих лет в Сенате, правда не по судебному, а по второму, так называемому крестьянскому, департаменту, Горемыкин невольно впитал в себя приверженность к законности и отрицательное отношение к административному произволу. По природе, несомненно, умный, тонкий и вдумчивый, с заметной склонностью к философскому умозрению, он считался не только либералом, так как по личным связям принадлежал к либеральному сенаторскому кружку, но даже сторонником, конечно, платоническим, толстовского учения. Выдающейся чертой характера Горемыкина и его умственного настроения, чертой, с годами все больше в нем развивавшейся, было ничем не возмутимое спокойствие, очень близко граничившее с равнодушием». Годы, когда Горемыкин был министром внутренних дел, были для Российской империи нелегкими. Министерству пришлось бороться с так называемыми неурожайными бедствиями и в связи с этим значительной миграцией крестьян. В 1896 году Горемыкин был вынужден даже создать особое Переселенческое управление в системе Министерства внутренних дел. Были учреждены установления по крестьянским делам Акмолинской области и временные положения о крестьянских начальниках Тобольской, Томской, Енисейской и Иркутской губерний. При нем были несколько ужесточены законы об ответственности губернаторов за совершенные преступления по должности, утверждены нормативные уставы сельских пожарных дружин и потребительских обществ. Во все эти вопросы Иван Логгинович вникал досконально. При Горемыкине министру юстиции Н. В. Муравьеву удалось «урвать» (выражение С. Ю. Витте) у Министерства внутренних дел Главное тюремное управление. Причем сделано это было в обход Государственного совета.
В 1896 году Министерство внутренних дел непосредственно отвечало за проведение первой переписи населения Российской империи. По результатам переписи население России составило 129 млн жителей, из них только 13 % приходилось на городское население, а общий годовой прирост тогда составлял 1 млн 600 тыс. человек.
Будучи министром, Горемыкин продолжал участвовать в комиссии по пересмотру судебных уставов, в которую он был включен еще в свою бытность в Министерстве юстиции. Что же касается политических вопросов, здесь он фактически продолжал политику своего предшественника И. Н. Дурново, отличавшуюся особой жесткостью. От былого либерализма не осталось и следа. Особое внимание уделялось пресечению студенческих беспорядков и борьбе с «вольнодумством» прессы. При Горемыкине либеральные издания подвергались гонениям и притеснениям — многие газеты и журналы были на подозрении. Сначала их предостерегали, потом запрещали и безжалостно закрывали.
До этих пор карьера Горемыкина складывалась удачно. Однако 20 октября 1899 года, находясь в заграничной поездке по Англии и Франции, он неожиданно для себя и без всяких объяснений был уволен с должности министра внутренних дел. Император назначил Ивана Логгиновича всего лишь членом Государственного совета с оставлением в должности сенатора. Ему было уже почти шестьдесят семь лет, и казалось, что карьера стареющего юриста клонится к закату.
Но судьбе было угодно распорядиться по-другому. Вследствие различных придворных интриг и борьбы противоположных групп, окружавших императора Николая II, Горемыкин все же сумел «взлететь» на чиновничий Олимп. Он стал премьер-министром и возглавил правительство Российской империи. До него юристы редко когда поднимались так высоко. По мнению современников, назначению Горемыкина способствовала рекомендация Д. Ф. Трепова, бывшего столичного генерал-губернатора, а затем дворцового коменданта, «полудиктатора», как отзывались о нем некоторые приближенные к императору вельможи. Как писал С. Ю. Витте, Трепов рассчитывал, что Горемыкин на посту председателя Совета министров будет во всем слушаться его советов, и даже подготовил для него инструкцию, как вести себя в Государственной думе. Но его надежды не оправдались. 22 апреля 1906 года, перед самым открытием первой Государственной думы, кабинет премьер-министра С. Ю. Витте пал, и на место председателя Совета министров был поставлен Горемыкин, который одновременно оставался членом Государственного совета и сенатором. В правительстве произошли основательные перестановки, были заменены все министры (за исключением трех; военного, морского и торговли).
27 апреля 1906 года в Георгиевском тронном зале Зимнего дворца состоялось торжественное открытие Государственной думы и преобразованного Государственного совета. После торжественного молебна император произнес «тронную речь». Из Зимнего дворца депутаты направились в Таврический, где в четыре часа был отслужен еще один молебен, а в пять часов все заняли свои места в зале заседаний. Весь кабинет министров во главе с Горемыкиным поместился в ложе министров, а члены Государственного совета — в своей ложе. По поручению императора открыл Государственную думу статс-секретарь 3.В. Фриш. Председателем Думы избран был С. А. Муромцев.
Государственная дума сразу же заявила свои права «на верховную власть». После горячих прений она выработала так называемый адрес, в котором было указано, что спокойная и правильная работа Думы может происходить только при условии ответственности всех министров перед народными представителями и что необходимо «освободить Россию от действия чрезвычайных законов». Дума предлагала выработать законы о полном уравнении всех граждан независимо от национальности и пола, о равноправии крестьян и охране наемного труда, о всеобщем бесплатном обучении, справедливом распределении налогов, преобразовании местного управления и самоуправления на началах всеобщего избирательного права. Она высказалась за аграрную реформу и наделение крестьян землей за счет принудительного отчуждения земель частнособственнических, казенных и удельных, за отмену смертной казни и исключительных законов, за проведение полной политической амнистии.