«Это было, – вспоминал Бродский о знакомстве с Ахматовой, – если не ошибаюсь, в 1961 году, то есть мне шел тогда двадцать второй год. Евгений Рейн привел меня к ней на дачу. Самое интересное, что начало этих встреч я помню не очень отчетливо. До меня как-то не доходило, с кем я имею дело, тем более, что Ахматова кое-какие из моих стихов похвалила, а меня похвалы не особенно интересовали. Так я побывал у нее на даче раза три-четыре, вместе с Рейном и Найманом. И только в один прекрасный день, возвращаясь от Ахматовой в набитой битком электричке, я вдруг понял – знаете, вдруг как бы спадает завеса – с кем или, вернее, с чем я имею дело. Я вспомнил то ли ее фразу, то ли поворот головы – и вдруг все встало на свои места. С тех пор я не то чтобы зачастил к Ахматовой, но, в общем, виделся с нею довольно регулярно. Я даже снимал дачу в Комарове в одну из зим. Тогда мы с ней виделись буквально каждый день. Дело было вовсе не в литературе, а в чисто человеческой и – смею сказать – обоюдной привязанности. Между прочим, как-то раз произошла замечательная сцена. Мы сидели у нее на веранде, где имели место все разговоры, а также завтраки, ужины и все прочее, как полагается. И Ахматова вдруг говорит: „Вообще, Иосиф, я не понимаю, что происходит; вам же не могут нравиться мои стихи“. Я, конечно, взвился, заверещал, что ровно наоборот. Но до известной степени, задним числом, она была права. То есть в те первые разы, когда я к ней ездил, мне, в общем, было как-то не до ее стихов. Я даже читал-то этого мало. В конце концов я был нормальный молодой советский человек. „Сероглазый король“ был решительно не для меня, как и „перчатка с левой руки“ – все эти дела не представлялись мне такими уж большими поэтическими достижениями. Я думал так, пока не наткнулся на другие ее стихи, более поздние…»
Свободный образ жизни молодого поэта в те годы не мог не бросаться в глаза. 29 ноября 1963 года в «Вечернем Ленинграде» появился фельетон некоего Лернера, руководителя так называемой народной дружины – «Окололитературный трутень». «Главным объектом внимания этой дружины, – рассказывал Бродский Волкову, – была гостиница „Европейская“, где останавливалось много иностранцев. Как вы знаете, она расположена на улице Исаака Бродского, так что, может быть, этот господин стал проявлять ко мне интерес именно из этих соображений? Охотились они главным образом за фарцами. И между прочим, когда эти дружинники фарцовщиков шмонали, многое у них прилипало к рукам – и деньги, и иконы. Что касается Лернера, то он вообще был никто. Такой отставной энтузиаст со слезящимися глазами…» Тем не менее, газетный фельетон подействовал, ибо тунеядцы тогда преследовались законом, – а разве поэт, человек, формально не работающий, не подходил идеально под такое понятие? Опасаясь нехороших последствий, Бродский почти всю зиму провел на дачах у знакомых, иногда уезжал в Москву, даже пытался устроиться на работу, но 13 февраля 1964 года, при возвращении из Тарусы в Ленинград, был все же арестован. 18 февраля состоялся скорый суд, отправивший Бродского на психиатрическую экспертизу, где он был признан вменяемым. А 13 марта второй суд приговорил Бродского к пяти годам принудительных работ на Севере. Этапом поэт был отправлен в деревню Норенская Коношского района Архангельской области. «Какую биографию творят нашему рыжему! Как будто он кого-то нарочно нанял!» – воскликнула, узнав об этом, Ахматова.
«Раз в месяц, – рассказывал Бродский Волкову, – приезжали ко мне устраивать обыск из местного отделения. Два человека приезжали на мотоцикле, входили ко мне в избу. Замечательная у меня была изба, между прочим. Отношения – самые патриархальные. Я понимал, зачем они приехали. Они: „Вот, Иосиф Александрович, в гости приехали“. Я: „Да, очень рад вас видеть“. Они: „Ну, как гостей надо приветствовать?“ Ну, я понимаю, что надо идти за бутылкой. Возвращался я с бутылкой минут через сорок-пятьдесят, когда дело было уже сделано. Они уже сидели всем довольные, поджидали меня. Да и что они могли понять во всех этих книжках, которые там валялись? Тут мы садились и распивали эту бутылку, после чего они уезжали…»
В сентябре 1965 года благодаря вмешательству видных деятелей европейской культуры и таких подвижников, как Фрида Абрамовна Вигдорова, опубликовавшая на западе записи судебного процесса, Бродский был досрочно освобожден. «Вчера утром вдруг – Иосиф, – записала в дневнике 1 декабря 1965 года Л. К. Чуковская. – Был у Гитовича, который отбирает с ним его стихи для книги. Чудеса!.. На днях он с успехом выступал в Союзе на семинаре молодых, все хвалили. Кетлинская („она всегда на два шага впереди прогресса“, – говорит о ней Дар) в восторге и обещает напечатать его стихи. Ездил он в Москву, видел трижды в больнице АА (Ахматову) и получил множество переводов – в „Прогрессе“ и в Гослите. Все, казалось бы, хорошо. Но он грустен, темен, тяжел, невнятен. Два раза его слова полоснули меня по сердцу. Я позвала его обедать. Мы вообще-то всегда в складчину кормим всех гостей – жен Гладкова и Ляленкова, Наташу Долинину и пр. А тут был обед уехавшего Дара. Так что я звала Иосифа уверенно. Он пошел – по двору шел очень лихо, руки в брюки, свистал. И вдруг на крыльце: „А меня там никто не унизит?“ За столом быстро познакомился с Гладковым, поговорил с ним о Цветаевой. Вернулся в комнату, сел. И вдруг: „Если бы меня хоть через день кормили таким обедом, я бы перевел все на свете…“
В эти же годы вышла в Нью-Йорке книга Бродского «Стихотворения и поэмы», затем появились издания в Голландии, в Германии, во Франции. Скандальный оттенок нарастающей известности, несомненно, мучил самого Бродского, но привлекал к нему людей. «Когда я только освободился, – рассказывал поэт, – интеллигентные люди всячески меня, что называется, на щите носили. И Евтушенко выразил готовность поспособствовать моей публикации в „Юности“, что в тот момент давало поэту как бы „зеленую улицу“. Евтушенко попросил, чтобы я принес ему стихи. И я принес стихотворений пятнадцать-двадцать, из которых он в итоге выбрал, по-моему, шесть или семь. Но поскольку я находился в это время в Ленинграде, то не знал какие. Вдруг звонит мне из Москвы заведующий отделом поэзии „Юности“. Ну, вот звонит он и говорит, что, дескать, Женя Евтушенко выбрал для них шесть стихотворений. И перечисляет их. А я ему в ответ говорю: „Вы знаете, все это мило, но меня эта подборка не устраивает, потому что уж больно „овца“ получается“. И попросил вставить его хотя бы еще одно стихотворение – как сейчас помню, это было „Пророчество“. Он чего-то там заверещал – дескать, мы не можем, это выбор Евгения Александровича. Я говорю: „Ну это же мои стихи, а не Евгения Александровича!“ Но он уперся. Тогда я говорю: „А идите вы с Евгением Александровичем… по такому-то адресу“. Тем дело и кончилось…»
Повинуясь указанию свыше (а наверху были очень заинтересованы в том, чтобы дело опального поэта поскорее забылось), в 1966 году в издательстве «Советский писатель» начали готовить к изданию книгу стихов Бродского, но она, конечно, не вышла. Даже переводы, сделанные им по заказу разных издательств, не всегда находили место. Умерла А. А. Ахматова, растаяли последние признаки «оттепели». Менялся и сам поэт. «Бродский был стариком уже в шестидесятые, – написал о нем Э. Лимонов, не умеющий щадить друзей. – Уже тогда был лыс, уклончив и умел себя поставить. Создать ощущение недоступности. Как-то мы ждали его в Москве на день рождения к поэту и ученому Славе Льну на Болотниковскую улицу. Он приехал только тогда, когда мы уже перестали его ждать. Драматически вовремя, когда мы израсходовали уже все душевные силы, из темноты, из-за двери в квартиру появился он – в кепке, боком как-то – обыкновенный гений, в сопровождении компаньона, случайной личности. Кажется это был 68-й год. Прикрывшись насмешливостью (на самом деле, по-моему, он нас боялся, пьяных, московских), он поспешно с нами поздоровался, чего-то выпил, чего-то съел, съязвил по какому-то поводу, успел надерзить нескольким красавицам и удалился в „его комнату“: оказывается, он собирался тут переночевать. Мы поворчали, перешли на кухню, кто-то было предложил разбудить его, но все утихло само собой, ибо гений пришел и лег спать. Ворча, мы разбрелись тогда по Москве… Позднее, уже в Америке, я заметил, что Иосиф уходит с тусовок очень рано, всегда – как будто поставил себе за правило уходить. Я уверен, что ему не хотелось покидать людей, но он насиловал себя. Небольшой, тщательно продуманный набор привычек создал ему пьедестал, сделал его живым памятником. Он, может быть, в ссылке продумал себя и уже до тридцати решил стать противным, желчным старикашкой, мятым, всклокоченным и шизоидным, как Эйнштейн, демонстративно одиноким. И стал. Я убежден, что ему хотелось поговорить, остаться, ввязаться в пьяный спор, дышать жарким потом пьяненьких юных поэтесс, дерьмовыми сигаретами, но он уходил: положение обязывало. А может, он всю жизнь боялся людей, потому и общался только с проверенными…»