Лишь иногда приезжал фельдъегерь и вручал приглашение от императора на встречу, то ли на званый обед, то ли на бал с дочерьми, то ли на прием с иностранными гостями. Вот тут Дмитрий Алексеевич испытывал недовольство, опять пустая болтовня, официальные приемы, где каждая деталь и подробность была за эти годы ему известна. Он с удовольствием и любовью вместе с женой обсуждают с архитектором Поповым постройку дома в Симеизе, собирали данные о водопроводе, мечтали пригласить винодела и садовника, подсчитывали вместе с Магарачем Сербуленко будущие финансовые расчеты на все эти расходы, а тут подлетает пролетка с императорским посланником, который тут же вручает приглашение на завтрашний вечер, и все чудесные планы об отдыхе улетучиваются как дым.
7 октября Милютин записывает в дневнике, что необходимо было побывать в Ливадии, «во-первых, чтобы представиться приехавшему на днях наследнику-цесаревичу, а во-вторых, по случаю дня рождения вел. Княжны Марии Александровны. Вся семья моя получила на вечер этого дня приглашение. Приехав 4-го числа под вечер в Ялту и переночевав там, я провел весь следующий день, 5 октября, в Ливадии. Какая противуположность с нашим спокойным Меласом!.. Целый день сутолока, беготня; говорят вполголоса, ежеминутно поглядывают на часы, чтобы не опоздать куда следует, чтобы в свое время и в своем месте поклониться, показаться… и т. д.
Возвратившись вчера в Меласс, еще более чувствую цену здешнего спокойствия и независимости».
Побывал еще раз в Симеизе с женой и сыном, порешили некоторые вопросы по постройке дома, и 26 октября сел на пароход «Михаил», прибыл в Одессу, потом по пути к Москве побывал на переустроенном оружейном заводе, по ходу встречи военному министру доложили, что не все станки из Англии прибыли, но в марте 1874 года завод будет на полном ходу. Дмитрий Алексеевич поразился, что новое административное помещение не столько оказалось удобным, но выглядело просто роскошным. Несколько теплых слов военный министр сказал начальнику Тульского оружейного завода генерал-майору Владимиру Васильевичу Нот-беку.
Всю дорогу от Севастополя до Петербурга Дмитрий Алексеевич читал деловые бумаги, особого внимания удостоился журнал Особого присутствия Государственного совета по делу о воинской повинности. Сколько неожиданных споров, острых, капризных, скандальных, произошло на этих заседаниях, он представлял себе, как вновь граф Дмитрий Андреевич Толстой, обер-прокурор Святейшего синода и министр народного просвещения, с прежней желчью и упрямством будет отстаивать свои навязчивые идеи, путано, зло, прискорбно. Сколько раз Дмитрий Алексеевич выступал на совещаниях и упрекал графа Толстого, который с обычным упорством настаивал на своих своеобразных и странных идеях относительно распределения учебных заведений в отношении льгот по воинской повинности. Принц Петр Ольденбургский не раз говорил о сохранении дворянских родов, требуя внести статью для единственных сыновей в семье, освобождающих их от воинской службы. Проходило много статей при общем голосовании, хотя и были горячие споры. Большие споры разгорелись о евреях, в проекте Комиссии для них предполагались особые, исключительные правила. Зачем евреев так отделять от основной массы военнообязанных? Дмитрий Алексеевич предложил вообще исключить эти особые правила, упомянуть о них лишь в журнале присутствия.
Но главная беда исходила от Комиссии князя Барятинского, который опять испытывал серьезные приступы подагры, но не потерял еще гнева против военных реформ и готовил некий документ против Военного министерства. Наконец до Милютина дошли слухи, что комиссия собиралась в Царском Селе у князя Барятинского в составе Константина Чевкина, председателя Комитета министров Павла Игнатьева и графа Эдуарда Баранова, еще не уехавших из Петербурга, обсуждали проекты письма императору. Комиссия потребовала от военного министерства огромное число документов, генералы всех направлений в министерстве писали отчеты о делах и сметах и направляли в комиссию, но опять же по слухам Милютин знал, что в письме императору указывались опять же мелкие недостатки в деятельности Военного министерства, упоминались плохо сшитые сапоги, мало изготовили малокалиберных ружей, но беда не в этом, а в том, какую резолюцию наложит император на этом письме: или эта записка останется под сукном, или Милютин подаст прошение об отставке с поста военного министра, которую не дают ему возможности «выполнять с спокойным духом». Вскоре от Ивана Якобсона, действительного тайного советника и бывшего члена Военного совета, Милютин узнал, что ничего существенного нет в этой записке от Комиссии Барятинского… В дневнике Милютин записал: «На каких-нибудь семи листах писарского письма высказываются мнения о невыгодности некоторых распоряжений по Военному министерству, а более всего трактуется об увеличении переписки в военном ведомстве. Стало быть, это все прежняя пошлая дребедень. По всем вероятиям, я не ошибся, предсказав государю, что учреждаемая им Комиссия не приведет ни к какому другому результату, кроме сочинения еще одного памфлета на Военное министерство, и вызовет еще одну полемику».
Вскоре приехал император Александр Второй и на первом же докладе Милютина передал ему «пресловутую записку фельдм. кн. Барятинского», в которой упреки Военному министерству были «избиты до пошлости». Много раз Дмитрий Алексеевич говорил об этих упреках, доказывал императору их абсурдность и никчемность, но император, передавая записку, говорил, что в записке есть нечто новое, чем может воспользоваться министерство. «Сегодня займусь продолжением чтения записки и постараюсь не портить себе себе крови этим чтением, – писал в дневнике Д. Милютин 29 июля 1873 года. – Напротив того, я должен даже радоваться тому, что целый ареопаг, собранный под председательством лица, открыто заявившим себя моим противником, и заведомо с той целью, чтобы нанести удар моему 12-летнему управлению, не мог отыскать никаких других обвинений, кроме тех пустых укоров, которые приводятся в записке кн. Барятинского на основании извращенных фактов, недобросовестно подобранных цифр и каких-то измышлений бездарного ген. Яковлева».
Слава богу, все это благополучно миновало еще до отпуска, как и резко изменилось к нему отношение со стороны императора, наконец-то увидевшего, что и такая серьезная Комиссия князя Барятинского ничего предосудительного не нашла в Военном министерстве. Сразу изменил к военному министру свое отношение. Дмитрий Милютин и на этот раз ожидал, что император предложит ему сопровождать его в поездке в Крым, ведь военный министр должен присутствовать на смотре войск, который обычно государь проводит во время поездки в Крым. Но не дождался… Видимо, есть какие-то неведомые ему причины продолжающейся холодности императора. Еще в августе, перед отпуском императора и своего, сделав доклад и обсудив его, Александр Второй наконец спросил:
