Он стал снова одинок, один как перст. Братец Левушка при помощи друзей отца определился на военную службу и теперь где-то шагал в солдатском мундире с мушкетом на плече. Александр Иванович Клушин уехал в Ливонию, а затем собирался за границу для продолжения образования. Но в Риге в него влюбилась уже не очень молодая вдова, баронесса, и он несколько лет прожил в этом городе, покорный брачным узам, и не подавал о себе вестей. Рахманинов затаился в своей Казинке под Тамбовом. Плавильщиков переехал в Москву вслед за Сандуновыми. Прощаясь, он стиснул Крылова в могучих объятиях и громогласно вопил, чтобы Иван Андреевич, его друг милый, переехал тоже в Москву, да поскорее!
После долгих раздумий Иван Андреевич последовал этому совету. Там Плавильщиков, Сандуновы. Ведь ехать, собственно говоря, было безразлично куда. В Москве же он будет далеко от соглядатаев императрицы, затеряется в многолюдье большого города. На рассвете Крылов забрался в крытый возок. Его провожал лишь Иван Афанасьевич Дмитревский. Он отирал надушенным платочком набежавшую слезинку, голова его чуть заметно тряслась на тонкой стариковской шее. Он крестил Крылова мелкими движениями руки. Наконец возок тронулся. Ямщик затянул унылую песню. Потянулись леса и болота, черные, бревенчатые срубы изб, низкие, набухшие дождем облака. Стоял ноябрь 1793 года.
Москва встретила его неприветливо. Холодным крупным дождем с липким, тающим снегом. Он сразу же подъехал к Петровскому театру, недавно открытому содержателем московской труппы Медоксом. Театр находился в самом начале Петровки и состоял из бесформенных зданий, сутуло сгрудившихся без всякого плана, представляя скорее груду кирпича, чем здание. Кругом театра беспорядочно теснились маленькие деревянные домишки. В одном из них квартировали Сандуновы. Они сердечно обрадовались приезду Ивана Андреевича. Лизанька засуетилась, принялась накрывать на стол, в честь гостя поставлен был штоф крепкой водки. Сандуновы жаловались на московские порядки. Дела у Медокса шли неважно: он задолжал актерам. Театральное помещение было плохо приспособлено к спектаклям. Зала не отапливалась: зрители сидели зимой в шубах, а артисты леденели от холода.
Пришел и Плавильщиков. Он громко хохотал, с нежностью сибирского медведя прижимал к себе Крылова и, став в драматическую позу, рычал стихи Сумарокова. В маленькой, заставленной вещами комнатке Сандуновых вдруг стало уютно и весело.
Но дни шли за днями. Дела никакого не находилось. Крылов заскучал. Он сидел в комнате с утра до вечера. Иногда выходил и бродил по улицам. По вечерам около театра прохаживались нарядно одетые девицы, «смазливые тени», как тогда называли подобных девиц. Их сопровождали городские кутилы, расфранченные и подвыпившие. Они, весело напевая, проходили мимо, приглашая встречных последовать за ними. Однажды Крылов не выдержал и присоединился к развеселой компании. Компания шумно ввалилась в один из домов на Разгуляе. Там шла азартная карточная игра. Игроки угрюмо сидели при оплывавших сальных свечах за большим круглым столом, напряженно глядя в карты. Время от времени тишина прерывалась равнодушным голосом банкомета, объявлявшего выигравшую карту. Крылов подошел к столу и подсел к игравшим. У него еще сохранилось немного денег. Он вынул золотой и поставил его на карту.
Карта выиграла. Во второй раз он поставил уже три золотых и с волнением ждал результата. Принял от банкомета карту и поставил ее темною. Банкомет метал карты. Крылов снова выиграл. Он поставил две новые карты, загнув каждую мирандолем. Из игорного дома на этот раз он унес десяток червонцев. Но счастье было изменчивым. Через несколько дней он снова появился в этом доме и проиграл все, что прошлый раз выиграл. Так он втянулся в тревожную и неверную жизнь игрока. Понемногу Крылов стал замечать в этих собраниях не только игроков, всецело увлеченных карточной игрой, но и каких-то подозрительных лиц, которые сновали вокруг стола, перекидывались загадочными замечаниями и взглядами.
Один из игравших тихонько предупредил его, чтобы он не связывался с этими личностями, отъявленными мошенниками и шулерами. Однако карты с магической силой влекли Крылова. Каждый раз, твердя себе на протяжении дня, что сегодня играть не будет, он к вечеру не выдерживал и отправлялся в дом, ставший ему привычным. Счастье попеременно то благоприятствовало, то изменяло ему. Он пытался вернуть проигранное верным расчетом, сложными математическими выкладками. Его любовь к математике вновь вспыхнула, приобретя смешные, уродливые формы. Он мог целыми днями высчитывать на основе математических формул секрет успеха, законы игры. Однако и математика, видимо, не помогала, и он, несмотря на найденные формулы, проигрывал. В поисках счастья он стал ездить по России: Ярославль, Нижний Новгород, Тула, Тамбов, Саратов… Всюду он пробовал счастья, надеясь на улыбку неблагосклонной фортуны.
Крылов стал бездомным скитальцем, праздным перекати-полем. У него не было ни семьи, ни профессии. Ему стало все безразлично. Разве он может бороться с императрицей? Ее пухлые, холеные ручки способны завтра же подписать указ о ссылке его в Сибирь, как Радищева, или о заточении в страшную Шлиссельбургскую крепость, где уже томился Новиков.
Он хотел забыть обо всем этом, уйти от тягостных дум, уйти от самого себя. Его влекли к себе дорожные встречи, постоялые дворы и почтовые станции, переполненные самым различным людом. Разговоры, рассказы бывалых людей, меткое, ядреное словцо какого-нибудь проезжего мужичка или мещанина делали поездки увлекательными, обогащали его знанием жизни простого народа. Перед этим меркли дорожные неудобства, грязь и беспокойная сутолока трактиров.
Игра его возбуждала, выводила из того оцепенения, в которое он погрузился, давала выход накопившейся энергии. Ведь ему еще не было и тридцати лет. Крылов был здоров, крепок, полон сил. Он не мечтал о том, чтобы быстро и легко разбогатеть. Его привлекала самая атмосфера игры, переменчивого счастья, напряженной взволнованности. Нравилась беззаботная, безалаберная жизнь. Впоследствии он и сам рассказывал, по словам мемуариста, что в молодости своей он был пристрастным к карточной игре, вовсе не из корыстолюбия, но ради сильных ощущений. В то время азартные игры не были запрещены, и банкометы явно занимались своим ремеслом в трактирах, разъезжали по ярмаркам и, как хищные звери, искали везде добычи. Не зная ни света, ни людей, Крылов попался в одну из этих шаек, и его обобрали, как говорится, «будто липочку».
Благодаря своим скитаниям, трактирным встречам, посещению ярмарок Крылов знакомился с нравами и бытом разных слоев общества. Он попал в самую гущу жизни, насмотрелся на многое из того, что в столичных гостиных было, конечно, скрыто от его взоров. Он прислушивался к говору самых различных представителей тогдашнего общества. Знакомился с богатейшим языком всех сословий России, с речью народа.