Переезд Утина в Швейцарию и его убежденность в общей работе, для чего Огареву летом 1864 года была переслана программа преобразования, заставили Герцена испытывать все большее недоверие к подобным узурпациям. Разлад в среде эмиграции, сплетни, интриги, усиливающаяся критика в его адрес еще более настораживали. Некоторые лица, бесцеремонно являвшиеся к Герцену, даже требовали от него полного подчинения. Переезд оттягивался, и Утин считал возможным убеждать более податливого Огарева, хоть и противящегося переезду, — поторопиться.
Бывший недоучившийся студент историко-филологического факультета отличался даром слова, умел увлекать других, но ни серьезные задатки агитатора и, несомненно, будущего деятеля не прибавляли «дальновидности суждения» и искреннего чувства «всецело отдаться известной идее», как позже полагал товарищ Утина по партии Л. Ф. Пантелеев.
Желание эмиграции подмять под себя пропаганду Герцена и решительный отказ издателя заставили женевскую молодежь думать о новом журнале. Не остался без внимания и денежный вопрос, всегда служивший камнем преткновения между Герценом и «молодой эмиграцией». Утин писал Герцену, непрозрачно намекая на основанный издателем «Колокола» «Общий фонд»: «Ваш карман слишком уже достаточно служил общему делу. Мы хотели бы все принять равную долю участия и на себя…»
Усилиями Утина и других эмигрантов для решения поставленных вопросов в Женеве созывается съезд, не собравший и двадцати человек. Туда прибывают: обосновавшийся в флорентийской эмигрантской колонии Л. И. Мечников, брат известного ученого, волонтер гарибальдийского войска, будущий публицист, уже сотрудничавший в «Колоколе»; А. А. Серно-Соловьевич, А. А. Черкесов, близкий друг и неразлучный его спутник, прекрасно осведомленный в издательском деле; возможно, Бакст, заинтересованный в налаживании работы бернской типографии. Герцен указывает в письмах о приезде Касаткина, В. Ф. Лугинина (сына богатейшего помещика, окончившего артиллерийскую академию и после отставки занимавшегося в Гейдельберге химией). Присутствие Саши Герцена, также участника переговоров, несомненно служит одним из поводов не игнорировать съезд. Герцен решает ехать.
Накануне открытия женевского созыва, в новогодней статье «1865» он пишет, а по сути, осведомляет представителей «молодой эмиграции» о своей неизменной позиции: «Мы продолжаем свой путь, а не вступаем в другой. „Колокол“ остается, чем он был — органом социального развития в России. Он будет, как прежде, против всего, что мешает этому развитию, и за всё, что ему способствует».
Приглашение молодых эмигрантов принято, и, несмотря на чудовищные препятствия, 28 декабря 1864 года Герцен добирается до Женевы. Будет ли ему поддержка? Вряд ли. Человека два-три на его стороне: это преданный Касаткин, презрительно окрещенный эмигрантской сворой «герценовской цепной собакой», да Лугинин, ставший издателю на некоторое время близким человеком.
«Юные птенцы клюют старого пеликана и хотят все делать так, чтобы делали всё мы…» — заключает Герцен в письме Тучковой свое двухдневное пребывание на съезде. Пишет Огареву, что «больше уступал возможного и справедливого, но они все что-то хлопочут и интригуют».
Герцен все более убеждался, что, несмотря на дом, «приисканный Касаткиным», настоящий «palazzo», и помещение для типографии, пребывание в Женеве «почти невозможно», и все по вине этих «праздных интриганов». Конечно, в письме Огареву Герцен готов смягчить приговор: «Может, они и добрые люди, но самолюбие всё потемнило». Ему невыносимо скучно с этими господами, их узость и нежелание учиться отвращает Герцена, надоедает ему, но что делать? Он вынужденно идет на компромиссы, на расширение программы «Колокола» и круга его сотрудников.
Шестого января Герцен уезжает. Но даже то небольшое налаженное соглашение срывается негодованием и истерикой недовольных. И в первых рядах — неуравновешенный (уже склонный к помешательству последующими обстоятельствами его личной жизни) А. Серно-Соловьевич, главный противник Герцена (некогда так им обласканный). Притязания эмигрантов остаются неизменными.
Откуда только берутся силы — ведь месяца не прошло после жуткой трагедии, которую Герцену-отцу пришлось пережить…
Судьба вновь доказывала ему свое трагическое постоянство.
Летом 1864 года в письме Огареву, который по-прежнему оставался непременным конфидентом Натальи Алексеевны, она отвечала ему: «Ты спрашиваешь о моем внутреннем настроении — вот тебе правда: оно мрачно, без искры надежды и веры в жизнь и в себя, но оно полно желания счастия и спокойствия других — я исполню то, что себе обещала, но моя жизнь кончена, с ужасом оглядываюсь на всю свою жизнь, всё ошибки, всё эгоизм и ошибки, которые сделали много зла другим, ни одного шага, на котором бы я могла с светлой улыбкой остановиться и сказать себе: „Ну, это было хорошо…“ О, Огарев, я истинно очень несчастна…»
Неотвратимость судьбы, с которой Натали ассоциировала себя, пока та ее не настигла, не давала ей в полной мере понять, что такое несчастье.
В декабре 1864-го случилось непоправимое, страшное, окончательно сломившее Натали. После ее нелепого переезда в Париж, где свирепствовали эпидемии, заболела Лиза. 29 ноября слегла девочка Лёля. Врачи подозревали корь или скарлатину.
Герцен едет за детьми, проводит ночь у постели маленькой. Он неотрывно пишет Огареву и Тате о развертывающейся трагедии. «Еще дрожат руки и внутренность, я затерял письмо к тебе, съездивши за доктором, — рассказывает он в записке другу, забежав в случайный „трахтир на улице Кастильи“. — У Лёли вырезали трахею. Я держал ее головку — и не смотрел. Пот с меня лил. На первую минуту она спасена — в минуту агонии. Но если останется живой, это чудо».
Страшными страданиями во время операции трахеотомии жизнь ребенка продлена на семь часов. В ночь на 4 декабря Лёля умирает от дифтерита. Герцен находит силы, чтобы написать дочери: «Тата, я сижу возле тела Лёли… Это был самый гениальный ребенок из всех». На следующий день Герцен и Тучкова-Огарева отвозят гроб с телом дочери в склеп на Монмартрское кладбище, чтобы потом похоронить в Ницце.
Через неделю после смерти девочки, 11 декабря, в невероятных мучениях погибает «задушенный крупом» мальчик. Лиза уцелела. Ее удалось изолировать, увезти.
«Тяжело, Герцен, так тяжело, что иногда глупо не верится, что это в самом деле… — пишет Натали, только добравшись до Монпелье, где она спасает Лизу от парижской эпидемии и страшного потрясения. — Лёлино место никто не займет в моем сердце — а забудешь, разве когда лишишься рассудка…» «Вот моя плаха, на которой мне голову отрубили», — не может она сдержать себя.