В 1871 г. умерла мать Ильи Николаевича. В Астраханском государственном архиве была обнаружена метрическая книга астраханской Гостино-Николаевской церкви, в ней имеется такая запись: «Вдова, астраханская мещанка Анна Алексеевна Ульянова. Дата смерти — 26 октября 1871 года. Возраст — 83 года. Причина смерти — от древности». Запись подписали протоиерей Николай Ливанов и дьякон Михаил Рувимов. На ее могильном камне высечены слова: «Анна Алексеевна Ульянова скончалась 28 октября 1871 года, от роду 87 лет».
Через 6 лет, в 1877 г., умерла сестра Ильи Николаевича — Мария Николаевна Горшкова. А еще через год скончался брат Ильи Николаевича, которому он многим был обязан. Василий долго болел, носил черную ленту, повязанную на голове. Говорил, чтобы не надуло уши. В записи церкви сообщается: «Астраханский мещанин Василий Николаевич Ульянов. Дата смерти — 12 апреля 1878 года, погребения — 14 апреля 1878 года. Возраст — 55 лет. Умер от чахотки». Василий Ульянов был похоронен на астраханском Духосошественском кладбище. Заведующий Астраханским городским архивным бюро П.И. Усачев писал в своих заметках: «Когда Василий Николаевич умер, то фирма Сапожниковых на склепе Ульяновых соорудила памятник. Памятник этот, хотя и сохранился, но весь разбит». На могильном камне еще видны буквы: «Здесь покоится прах астраханского мещанина Василии Николаевича Ульянова, скончавшегося 12 апреля в 4 часа пополудни 1878 года. Жития ему было 60 лет». Данные о возрасте Анны Алексеевны и Василия Николаевича Ульянова в метрической книге и на памятнике расходятся. Следуя выпискам из ревизионных сказок о рождении Василия и свадьбы Анны Алексеевны с Николаем Никитичем, принимаем за достоверные надписи на памятниках. (1788 – 1871 для Анны Алексеевны и 1819 - 1878 для Василия Николаевича). Чем были вызваны такие расхождения, сказать трудно.
Анна Ильинична Ульянова-Елизарова писала в 1926 году: «Василий Николаевич умер в 1878 году. На астраханском кладбища до сих пор сохранился памятник, сооружённый на могиле сослуживцами, среди которых он оставил по себе добрую память. Мария Николаевна умерла раньше, и из родных отца я помню только Федосью Николаевну, младшую его сестру, добрую женщину, небольшого роста, с черным платком на голове, которая приезжала как-то к нам в Симбирск и которую отец, а после смерти мать, поддерживали, посылая деньги».
Когда Василий Николаевич умер, его сестра Феодосия отправила телеграмму к младшему брату в Симбирск.: «Братец умер, домом я владеть не могу, если можете приезжайте, продайте его, а мы разделим наследство пополам». Илья Николаевич ответил: «Никакого дома не надо, сестра, а вы можете его продать и живите, кормитесь на эти деньги». Дом Ульяновых был куплен купцом первой гильдии Александром Антоновичем Фокиным в 1881 г. Он заплати маклерских 25 рублей и составил купчую крепость на 200 руб. Дом и все подворье находились в ветхом состоянии. Купец его отремонтировал, а затем продал Смирнову, подворье гостиницы которого вплотную примыкало к дому Ульяновых.
Сын Марии, Степан Николаевич Горшков, закончил четыре класса городского училища. Василий Николаевич предложил отдать его в гимназию, но Николай Захарович, его отец, не согласился, считая, что «для их дела нет надобности иметь образование». Всю жизнь прожил Степан в Астрахани, последние годы работал конторщиком на астраханском курорте «Тинаки». У Степана Николаевича было трое детей — Евгений, Вячеслав и Юлия. Евгений Горшков, подпоручик артиллерии, погиб в 1915 г. при осаде Перемышля. 5 апреля 1915 г. «Астраханская газета» поместила фотографию Евгения, под которой стояла подпись: «Поручик Евгений Степанович Горшков, астраханец, убит в бою 17 марта 1915 года». В Первую мировую войну был офицером и Вячеслав Горшков, в годы Гражданской войны перешел к красным. В 1919 г. Степан Николаевич поступил на службу в политотдел Волжско-Каспийской военной флотилии. Горшков жаловался на боли в голове, ломоту в ногах, перебои в сердце. На работу ходил с трудом. В Астрахани в это время свирепствовали голод, разруха, тиф. Именно тогда в Астраханский губсобес пришло письмо из Москвы от Анны Ильиничны Ульяновой-Елизаровой. Она писала:
«Уважаемые товарищи!
Я недавно получила письмо от моего двоюродного брата, единственного племянника моего отца Ильи Николаевича Ульянова. Моему двоюродному брату уже 70 лет. Он служит в политотделе Волжско-Каспийской военной флотилии, имеет больную жену и сына, страдающего эпилепсией. Другой сын Вячеслав, батальонный командир, на фронте. Степан Николаевич пишет о чрезвычайной трудности жить теперь в Астрахани и о последнем своём горе — об объявлении ему отставки. Я пишу одновременно и в политотдел, но думаю, что престарелому родственнику моему, может быть, трудно уже служить, я полагаю, что его и его больного сына, а может быть, и жену следует обеспечить по законам Советской республики. Прошу поэтому обследовать положение С.Н.Горшкова — адрес его: Армяно-Петропавловская улица, 5-й участок, дом Петрунина № 114, дать ему полагающееся пособие, а может быть, устроить на какой-нибудь несложной работе, где он мог бы иметь какой-нибудь паек, где-нибудь за городом, где легче достать продовольствие, и о сделанном известить меня»
Губсобес дал указание провести обследование семьи Горшковых, и председатель домового комитета по Армяно-Петропавловской улице доложил, что Степан Николаевич «не имеет никакой недвижимости в городе ни в торговле, ни в денежных капиталах и существует исключительно на получаемое жалованье». Степана Николаевича устроили на новую работу за городом. По дороге на работу он умер, сообщение о смерти мужа отправил жене начальник управления Военных сообщений 11-й армии: «Настоящее удостоверение выдано Агриппине Ильиничне Горшковой в том, что муж её Степан Николаевич Горшков был назначен казначеем этапа № 25 с. Тундутово и по дороге к месту службы заболел и умер от сыпного тифа в с. Безродном». Степан Николаевич скончался 27 апреля 1920 года. Узнав о его кончине, жена выехала в село Безродное, но мужа уже похоронили чужие люди. Все вещи его были уничтожены, так как умер он в тифозном бараке. Вскоре Агриппина Ильинична стала получать установленную законом пенсию. А когда с фронта вернулся ее сын Вячеслав, Горшковы переехали в Москву. Там Вячеслав Степанович поступил в Высшую военную школу связи. В 1937 году вышел в резерв. Работал инженером на Московской ГЭС. Затем перешел на преподавательскую работу в «Трансэнергокадры». У него было двое детей: сын Альберт и дочь Надежда. Вячеслав Степанович и Альберт Вячеславович погибли на фронтах Великой Отечественной войны. О детях Юлии Степановны и Надежды Вячеславны сведений найти не удалось. Если они еще живы, то они остались единственными наследниками Николая Ульянина (Ульянова), не считая потомков Ильи Николаевича и Марии Александровны.
В 1863 г., в связи с закрытием Пензенского дворянского института, И. Н. Ульянов получил новое назначение и переехал вместе с молодой женой в Нижний Новгород, где он работал одновременно в нескольких местах. Он вел занятия на землемерно-таксаторских курсах, преподавал физику в местном женском училище первого разряда, работал старшим учителем математики и физики в мужской гимназии, работал воспитателем в Дворянском институте. Молодой семье Ульяновых на первых порах было нелегко. С жильем определились лишь через три месяца: Дворянский институт предоставил семье казенную квартиру. 14 августа 1864 г. в Нижнем Новгороде у Ульяновых родилась дочь Анна, а 31 марта 1866 г. родился сын Александр.
В Нижнем Новгороде Илья и Мария прожили шесть лет. Много лет спустя Анна Ильинична Елизарова-Ульянова в своих воспоминаниях так писала о жизни семьи в Нижнем Новгороде: «Помню нашу казенную квартиру в коридоре здания гимназии из четырех в ряд идущих комнат, причем лучшей была наша детская; помню кабинет отца с физическими приборами, а также и то, что одной из любимых наших игрушек был магнит и натертая сукном палочка сургуча, на которую мы поднимали мелкие бумажки. Помню зимние вечера, игру матери на фортепиано, которую я любила слушать, сидя на полу подле ее юбки, и ее постоянное общество, ее участие в наших играх, прогулках, во всей нашей жизни. С тех пор как я начинаю себя помнить, у нас была одна прислуга, находившаяся больше на кухне, а мы бывали с матерью. Нянек у нас, двоих старших, я не помню. У матери моей - от природы живого и общительного характера - были там добрые приятельницы; можно было, уложив детей, собраться, почитать, поболтать, помузицировать вместе. Получались там все новые журналы. Отец читал иногда вслух по вечерам, между прочим, печатавшуюся тогда частями «Войну и мир» Толстого».
Из Нижнего весной 1868 г. Мария Александровна с детьми совершила поездку в Астрахань к родным Ильи Николаевича. Там жили его мать, брат Василий и сестры, Мария и Феодосия.
