Дети Якова Ивановича были талантливы и своеобычны. Когда в 1854 году умер отец, то старший сын Владимир, чиновник Опекунского совета, аскетически отказался от своей личной жизни и самоотверженно воспитывал младших, стал для них и отцом, и матерью. Второй сын Дмитрий был близок Григорьеву по натуре: нервный, увлекающийся, склонный и к серьезным научным занятиям и к кутежам; одно время он был секретарем у Грановского; сдал магистерские экзамены по филологии, готовил диссертацию, но в шестидесятых годах, уже после кончины Григорьева, бросил науку, замкнулся, в 1868 году покончил жизнь самоубийством.
Старшая из сестер, Леонида родилась в 1835 году, так что в момент поступления Григорьева в Воспитательный дом ей было 15 лет. Исследователь жизни и творчества нашего Аполлона В.Н. Княжнин в начале XX века познакомился с младшей ее сестрой Евгенией, которая прислала ученому интереснейшие очерки о своей семье. Вот ее характеристика сестры: «Старшая сестра Леонида была замечательно изящна, хорошенькая, очень умна, талантлива, превосходная музыкантша. Не удивительно, что Григорьев увлекся ею, но удивительно, что он и не старался скрывать своего обожанья. Почти все знакомые были ее горячими, но сдержанными поклонниками. Есть ее очень хороший, похожий акварельный портрет, снятый в 55-м году. Фотографии с сестры все очень неудовлетворительны и не передают ее физиономии. Ум у нее был очень живой, но характер очень сдержанный и осторожный. Григорьев часто с досадой называл ее «пуританкой». Противуположностей в ней было масса, даже в наружности. Прекрасные, густейшие, даже с синеватым отливом, как у цыганки, волосы и голубые большие прекрасные глаза, и т. д. С ее стороны не было взаимности никакой».
Как жаль, что ни один портрет или фото Леониды не сохранились, мы можем судить о ее облике лишь по описаниям.
Да, Григорьев не скрывал своих чувств, он никогда не был отягощен культурным лицемерием… Положим, он влюбился в Леониду не в первые месяцы знакомства с семьей Визардов, а где-то в 1851—1852 годах, когда она уже была относительно взрослой, шестнадцати-семнадцатилетней, но ведь в глазах почтенного религиозного семейства это было совершенно недопустимое, совершенно безнравственное явление: женатый человек полюбил девочку! А попробуй в те времена получить развод, это было почти невозможное мероприятие, надо было довести дело до Святейшего синода, где, конечно же, отказали бы, психологическая несовместимость тогда никак не считалась убедительной причиной развода, а публично обвинять жену в прелюбодеянии (о чем муж рассказывал друзьям) Григорьев, конечно, не смог бы. Влюбленному оставалось лишь говорить Леониде Яковлевне о своих чувствах и писать ей в девичий альбом соответствующие строки. Евгения Яковлевна сохранила одно такое стихотворение и сообщила его Княжнину:
За Вами я слежу давно
С горячим, искренним участьем,
И верю: будет Вам дано
Не многим ведомое счастье.
Лишь сохраните, я молю,
Всю чистоту души прекрасной
И взгляд на жизнь простой и ясный,
Все то, за что я Вас люблю!
Хотя история не имеет сослагательного наклонения, но все же хочется поинтересоваться: а что, если бы Григорьев был свободен от цепей брака, ответила ли бы Леонида Яковлевна на его страстные чувства? Думается, что нет. Наверное, ее светлой и собранной душе были чужды его темные черты. В письме к Е.С. Протопоповой от 6 января 1858 года Григорьев объясняет, почему он никогда «не хотел влюбиться» в нее: «Оттого, что по деспотическим наклонностям я не мог бы сносить в Вас привязанности к чему-либо на свете (к матери, брату, к музыке)». Далее по его дикой логике выходило, что только Леониду Яковлевну и мог он любить — она ни к кому не была бы привязана, только к нему. Ой ли?!
Деликатная семья Визардов не отказывала Григорьеву от дома, он был много лет одним из самых постоянных посетителей, явно был духовным, интеллектуальным центром домашних собраний. Из воспоминаний И.М. Сеченова: «Змеем-искусителем для Дм. Визара и меня был Аполлон Григорьев. Добрый, умный и простой в сущности человек, несмотря на некоторую театральную замашку мефистофельствовать, с несравненно большим литературным образованием, чем мы, студенты, живой и увлекающийся в спорах, он вносил в воскресные вечера Визаров много оживления своей нервной, бойкой речью и не мог не нравиться нам, тем более что будучи много старше нас летами, держал себя с нами по-товарищески, без всяких притязаний».
В начале пятидесятых годов Григорьев даже с женой приходил на вечера Визардов. По его инициативе у них был поставлен любительский спектакль «Горе от ума», с очень интересным составом исполнителей: Чацкий — Алмазов, Фамусов — Григорьев, Софья — Лидия Федоровна, его жена, Лиза — Леонида, Мочалин — Дмитрий Визард, Скалозуб — Сеченов. Позднее Григорьев готовил (но, кажется, не довел до конца) постановку лермонтовского «Маскарада», где сам должен был играть Арбенина, а Леонида — Нину.
Между тем Леонида Яковлевна взрослела, основательно училась под руководством братьев и приглашенных преподавателей (не исключено, что и Григорьев ее чему-нибудь обучал), в конце 1853 года сдала экзамены на звание домашней учительницы и потом год прожила в семье Н.Г. Фролова, члена западнического кружка, друга Грановского, в качестве подруги-учительницы дочерей.
Видимо, дома у Визардов было трудно в материальном отношении: что давал матери пансион, мы не знаем, Владимир не мог тянуть семью на одно свое чиновничье жалованье, Дмитрий лишь недавно окончил университет; конечно же, Леониде надо было где-то служить. Почему-то учительство в доме Фроловых в 1855 году прекратилось (из-за кончины в январе Н.Г. Фролова?), и ранней весной Леониде предстояло уехать гувернанткой в Казань, в какое-то хорошее семейство, к знакомым брата Владимира. И тут появился, как в театре или как в сказке, спаситель.
Михаил Николаевич Владыкин — товарищ Сеченова по Инженерному училищу и по службе сапером. Дворянин, помещик. К. началу 1850-х годов он уже был офицером в отставке, жил в Чембарском уезде Пензенской губернии (мир тесен: он — сын двоюродной сестры Белинского!). Будучи страстным театралом, Владыкин зимами живал в Москве, сам написал пьесу «Купец-лабазник, или Выгодная женитьба», в духе Островского, она с успехом шла в театрах. Ее успех в Москве (главного героя играл сам П. Садовский) был омрачен запрещением всесильного генерал-губернатора графа А.А. Закревского: герой Голяшкин оказался однофамильцем реального московского купца, щедрого благотворителя, который воспринял комедию как издевку над собой. Но в провинции пьеса не сходила со сцены.
