У братьев есть и другой предмет увлечения — собственно литература. Петр Иванович и Алексей Иванович служат в Преображенском полку, где под началом Алексея Лутовинова оказывается в 1766 году Г. Р. Державин. Державин не только с признательностью вспоминает это время службы, но и в дальнейшем заботится о братьях Лутовиновых, они же, в свою очередь, восторженно относятся к его творчеству Это отношение передастся их внуку Для Тургенева Державин — великий поэт, натура «в высшей степени поэтическая, смелая и сильная». Из поколения в поколение в Спасском перечитывается книга «Объяснение на сочинения Державина, им самим диктованные родной его племяннице Елизавете Николаевне Львовой в 1809 году» в четырех частях, изданные в Петербурге Ф. П. Львовым.
Братья увлекаются театром, покупают книги из репертуара столичных театров, новые издания сочинений русских и западных драматургов.
Алексею Ивановичу принадлежал первый экземпляр издания русского перевода комедий Мольера, которым так увлекался Тургенев. Рядом другой великий француз — Ш. Л. де Монтескье с его «Персидскими письмами».
Судя по надписи на книге, Алексей Иванович за несколько лет до своей смерти приобрел их в русском переводе, тогда как Варвара Петровна делает пометку в записной книжке о необходимости приобрести для своей библиотеки непременно французское издание: «на русском смыслу нету».
Об отечественной истории нечего и говорить — она неизменно остается в центре внимания братьев. Двадцати семи лет от роду офицер-преображенец покупает «Тетради, записанные всяким письмам и делам, кому что приказано и в каком числе от е. и. в. Петра Великого 1701, 1705 и 1706 годов с приложением примечаний о службах тех людей, к которым сей государь писывал», издания Сената. Почти одновременно в типографии Шнора, «состоящей в Лютеранском церковном дворе» в Петербурге, его внимание привлекает русский перевод французской книги А. Рише «Новый опыт о великих происшествиях от малых причин», который он надписывает: «Алексея Лутавинова» (братья писали свою фамилию через «а»).
Наиболее интересовавшие его сочинения Алексей Иванович, как и многие его современники, готов был иметь и в рукописном виде. В частности, это «Кандид» Вольтера. Написанный на превосходной лощеной бумаге фабрики деда Натали Пушкиной Афанасия Гончарова, этот «опус» был выполнен скорее всего в расчете на последующую печать, но в нем нет пропусков, которые появятся в печатном варианте из цензурных соображений. И, кстати, вариант Алексея Ивановича уникален, подобных ему литературоведам обнаружить не удалось. Зато об этом раритете упомянет Тургенев и в «Нови», и в повести «Фауст». Застать писателю Алексея Ивановича не довелось, тем не менее, его портрет по семейным преданиям и книгам он воссоздает в повести «Три портрета» как Василия Ивановича Лучанинова.
О характере сыновей Мавры Ивановны Лутовиновой, а именно так звали прабабку Ивана Сергеевича, среди родных говорить было не принято. Хвастать нечем, ссылаться на екатерининские времена, век правления просвещеннейшей императрицы тем более. Старший сын — Петр Иванович освободился от службы раньше. За ним Алексей — в чине бригадира и Иван — в чине секунд-майора в 1778 году, и сразу же братья начали проявлять свой незаурядный темперамент. Одно счастье, что поселились в Мценском уезде. Из первых похождений братьев, о котором долго помнили в семье, оставалась история с бедным сельским священником, сохранившаяся в архиве Мценского уездного суда.
«Великому Господину Преосвященнейшему Амвросию, Епископу Севскому и Брянскому, изо Мценского духовного правления Доношение.
Сего 1778 года августа 28 дня во Мценское духовное правление Мценского прежде, а ныне Чернского уезда Сатыевского стану священник Петр Иванов словесною жалобой представлял: того же августа 24 дня литургисал он, священник, и был зван прихода своего в деревню Круговую однодворцем Алексеем Трофимовым сыном Черемисиновым для исповеди и святого причастия детей его, Черемисинова, лежащих в болезни в доме его, состоящем в показанной деревне Круговой;
чего для он, священник, взяв святые дары с дароносицею, пошел было в ту деревню Круговую, и, не отшед от своего двора более как полверсты, — увидел он, священник, впереди себя едущих верховыми лошадьми Мценского уезду помещиков: бригадира Алексея да секунд-майора Ивана Ивановых детей Лутовиновых с бывшими при них на верховых же лошадях пятью человек;
из которых господин бригадир Алексей Иванов приказал, а секунд-майор Иван скочил с лошади и начали его, священника, бить, и не удовольствуясь, они, Лутовиновы, таковым боем приказали его, священника, обнаготить;
по которому их приказанию бывшие с ними люди, скинув с него, священника, полукафтанье и заворотя рубашку на голову, секли езжалыми и кнутьями по голому телу, майор Иван Иванов из своих рук да человек их Иван же Иванов, а прочие их люди держали, бригадир же Алексей Иванов велел бить его, священника, до смерти и выговаривал людям своим, чтоб его, священника, приколоть;
от которых побоев он, священник, с того места, на котором они, бив, оставили, и подняться не мог, а наехал на него оного ж села Богоявленского церковник Илья Матвеев и, подняв его с того места, привез его, священника, в дом его;
бывшая при нем дароносица со святыми дарами вышеписанными нападшими людьми незнаемо куда утрачена;
и о всем вышеписанном представляя, просил о осмотре и описании имеющихся на нем боевых знаков и о учинении ему, священнику, защищения;
которую просьбу Мценское духовное правление слушав, определило: имеющиеся на нем, священнике, боевые знаки, осмотрев, описать и приказать ему, священнику, для такого же осмотру и описания, яко те побои и утрачение дароносицы причинены от людей светской команды, явиться во Мценскую воеводскую канцелярию и подать явочную челобитную.
По осмотре же вышеписанным духовным правлением на нем, священнике, боевых знаков явилось: спина от лопаток до пояса избита и, как можно приметить, плетьми, что значут частые рубцы сине-багровые, а местами и до крови просеченные, и седалище избито, с синею опухолью и багровыми рубцами. […]».
Документ, поданный во Мценский уездный суд через четыре с лишним года, а именно 31 января 1783 года, производит особенно гнетущее впечатление. Совершенно очевидно, что написан он по приказу и при участии Ивана Ивановича Лутовинова, достигшего к тому времени высот крючкотворства, и также очевидно, что священника Петра Иванова подписать документ принудили.