Однажды, услышав от Н.М. Сатина, мужа сестры Натальи Алексеевны, что Огарев как будто бы сжег его письма, Герцен написал: "Это скверно, лучше бы сжег дюйм мизинца на левой руке у меня. Наши письма — важнейший документ развития, в них время от времени отражаются все модуляции, отзываются все впечатления на душу, ну, как можно жечь такие вещи?" Как не хватало этих писем автору "Былого и дум"! Мемуар продолжал разрастаться, он далеко уже вышел и за пределы семейной драмы, воспоминаний о детстве, ссылке. Мелькнула и революционная Франция 1848 года. Но Герцен не очень задержался здесь на описании событий, они были подробно изложены в его "Письмах из Франции и Италии". В мемуар властно входило время, которое "воспитывало" героев. От главы к главе оно заявляло о себе все более громко. Герцен создавал свой мемуар шестнадцать лет вплоть до весны 1868 года. "Былое и думы" писались не по порядку глав. Каждая глава подолгу вынашивалась ("год обдумывал"), потом возникали варианты ("сто раз переписывал"), и каждая глава пропускалась "сквозь кровь и слезы".
При жизни Герцен опубликовал все главы, которые считал возможным обнародовать. Они печатались в альманахе "Полярная звезда", а ряд глав впервые появился и в "Колоколе". Отдельное издание "Былого и дум" начал готовить еще в 1860 году. Первые два тома мемуаров вышли в 1861 году. Затем последовал третий том, составившийся из произведений Герцена, написанных в 30 — 40-х годах, но тематически примыкающих к "Былому и думам". Последний, четвертый том Герцен издал уже в Женеве в 1866 году. Он собирался опубликовать и пятый и шестой тома мемуаров, для них у него были уже написаны главы, но сделать этого не успел. После смерти Герцена "Былое и думы" переиздавались не раз, однако полностью они вышли только в составе Полного собрания сочинений Герцена под редакцией М.К. Лемке, уже после Октябрьской революции.
Заголовки и подзаголовки "Былого и дум" наводят на мысль, что это не мемуары, а историческая хроника. В них присутствуют или события эпохи, или их участники — люди. В первых четырех частях — и "Пожар Москвы", и "Сунгуровское дело", "Славянофилы и панславизм", "Смерть Александра I и 14 декабря". Внутри заголовков — "Граф Аракчеев и…", "М.Ф. Орлов", "В. Гюго", "Ледрю-Роллен", "Роберт Оуэн"… Книга густо населена людьми, оставившими тот или иной след на путях и перепутьях истории.
Впоследствии А.М. Горький скажет: Герцен "представляет собою целую область, страну, изумительно богатую мыслями", "Былое и думы" бесспорно центр, столица этой богатейшей державы. "Меня ужасно занимают биографии всех встречающихся мне лиц", — признавался Герцен еще в романе "Кто виноват?". Интерес к человеческой личности был органичен для Герцена и стоял в тесной связи с общими его мыслями о переустройстве всего человеческого общества на новых началах. Для него было несомненным, что "грядущая революция должна начать не только с вечного вопроса собственности и гражданского устройства, а с нравственного человека".
Прочтя "Что делать?" Чернышевского, Герцен не был удовлетворен художественным уровнем романа, но очень рекомендовал дочери ознакомиться с ним. Новая этика человеческих отношений, которую проповедовал Чернышевский в "Что делать?", для Герцена перекрывала с лихвой все несовершенства формы. Так и должно было быть. Еще Белинский когда-то замечал, что Герцен принадлежит к тому типу писателей, у которых "мысль всегда впереди", для них "важен не предмет, а смысл предмета, — и их вдохновение вспыхивает только для того, чтобы через верное представление предмета сделать в глазах всех очевидным и осязательным смысл его". Белинский назвал Герцена "поэтом гуманности". "У тебя, — писал он — как у натуры по преимуществу мыслящей и сознательной… талант и фантазия ушли в ум, оживленный и согретый, так сказать, осердеченный гуманистическим направлением, не привитым и не вычитанным, а присущим твоей натуре". Точно так ощущал и сам Герцен. В 1865 году он писал Огареву: "Гуманность… основа моего характера; оттого-то все не гуманное меня раздражает больше преступного. Украдь у меня кошелек, я подосадую — и баста, а начни вора при мне пытать — я за него лягу костьми". Присущая натуре его гуманность подкреплялась выношенными убеждениями — все это, вместе взятое, давало опору для жизни, определяло этику его поведения по отношению к дальним и ближним — ив частности к семье, которая то убывала, то снова расширялась.
Неизменно близким человеком для Герцена был Огарев и оставался таковым, в какие сложные ситуации ни ставила бы их жизнь. Тата писала уже после смерти отца, что Огарев был "единственным в самом деле интимным другом папаши, который жил почти что безразлучно с ним последние 15 лет и от которого ничего не скрывалось".
Огарев, как и Герцен, не склонен был считать частную жизнь чем-то отъединенным от общей жизни, и гуманность была ему присуща в столь же сильной степени, как и Герцену. Этика отношений и для него была тем столпом, на котором он строил свою жизнь. Он надеялся увидеть уже сейчас в своей семье, куда входили и Герцен и его дети, малую ячейку того будущего всечеловеческого братства, ради приближения которого он работал всю жизнь.
Однако случилось иначе. После смерти "маленьких", умерших от, дифтерита, Наталья Алексеевна еще более ожесточилась. Болезненная недоверчивость, мнительность, мрачность наводили порой близких на мысль о сумасшествии.
В мае 1865 года Тата вместе с Ольгой и Мейзенбуг приехали в Женеву, чтоб поселиться здесь с отцом. Тут же был и Огарев. Два года назад, обдумывая возможный переезд в Женеву, Герцен писал Натали: "Я еду… чтобы двинуть общее и частное, взять вас всех — тебя, детей…" Однако переговоры с Натали оказались нервными и добавили Герцену волнений ко всем тем дрязгам, которые и без того свалились на него в Женеве. "Коренная мысль у тебя ясна до того, что разве слепой не прочел бы ее, — писал Наталье Алексеевне Огарев. — Коренная мысль: "Выгони Тату и тогда я с Лизой приеду в дом твой". И еще один постоянный мотив определил Огарев в ее письмах: "Он (Герцен. — В. П.) в Женеве живет для своего брата (то есть для него, Огарева. — В. П.), а во Флоренцию едет для своих детей и ничего будто бы не делает только для тебя…"
Близкие с огорчением наблюдали, как под давлением невзгод и у Герцена менялся характер. Тата относила это за счет женевских дрязг и трудных переговоров с Натали. На счет общего положения дел относил растущую раздражительность Герцена и Огарев. И все же на первый план ставил отношения с Тучковой, в них видя первопричину беды. Он даже предпринял попытку воздействовать одновременно на него и на нее. 5 мая 1866 года Огарев писал Герцену: "Я с глубоким горем смотрю на возрастание твоей раздражительности… Мне кажется, что твоей раздражительностью ты много теряешь влияния кругом себя".