В конце 1850-х Гончаров поселился на Моховой ул., в доме М. М. Устинова (ныне д. 3), где прожил до конца дней. В эти годы складывается легенда о писателе, приписывающая ему черты Обломова. Повод к этому отчасти дал сам Гончаров, выступавший под маской лени, апатии, безучастия и во «Фрегате „Паллада“», и в эпилоге «Обломова», и в очерке «Литературный вечер» (пожилой беллетрист Скудельников). Однако, по свидетельству близко знавшего Гончарова А.Ф.Кони, под его «спокойным обличьем… укрывалась от нескромных или назойливо-любопытных глаз тревожная душа. Главных свойств Обломова задумчивой лени и ленивого безделья — в Иване Александровиче не было и следа. Весь зрелый период своей жизни он был большим тружеником». Подчеркнутая отстраненность, безучастность повествователя — сознательный прием в прозе Гончарова, знак объективной авторской позиции, независимой от его симпатий и антипатий.
Скрытой от наблюдателей осталась и душевная, сердечная жизнь писателя. В 1855-56 гг. Гончаров был серьезно увлечен Е. В. Толстой, его переживания отразились в своеобразном романе в письмах, адресованных ей. По мнению ряда исследователей, Е.В.Толстая послужила прототипом Ольги Ильинской в «Обломове». Другим прототипом считают Ек. П.Майкову, чей деятельный характер, тонкий художественный вкус были Гончарову симпатичны. В 1867-начале 1868 произошло знакомство писателя и скорый разрыв с некой «Агр. Ник.» (полное имя не установлено), сыгравшей не последнюю роль в его работе над «Обрывом» («…это была моя не Вера, а модель моей Веры»). Исключительно значимы в душевной и творческой жизни писателя его многолетние дружеские связи и длительная доверительно-исповедальная переписка с И.И.Льховским, Ю.Д.Ефремовой, с семьями Майковых, Языковых, Никитенко, Стасюлевичей, с А.Ф.Кони, великим князем Константином Константиновичем. Друзья оказывались вовлеченными в творческий процесс писателя, доверявшего их суду и совету. Гончаров был близок с А.К.Толстым, Я.П.Полонским, А.Н.Островским, дружески связан с Н.С.Лесковым, Ф.М.Достоевским, Л.Н.Толстым; сложно складывались его отношения с Н.А.Некрасовым, М.Е.Салтыковым-Щедриным. В процессе творческого самоутверждения Гончарова особую роль играли его отношения с Тургеневым, чье мнение было для него всегда авторитетно. Однако, «открыв» Тургеневу в 1855-56 гг. в деталях и подробностях замысел «Обрыва», Гончаров без всяких оснований заподозрил его в плагиате — использовании собственного замысла в романах «Дворянское гнездо» и «Накануне». Конфликт едва не привел к дуэли и разрешился 29 марта 1860 «третейским судом». Заключение «судей» (П.В.Анненкова, А.В.Дружинина, С.С.Дудышкина, А.В.Никитенко) гласило: «…произведения Тургенева и Гончарова, как возникшие на одной и той же русской почве, должны были тем самым иметь несколько схожих положений, случайно совпадать в некоторых мыслях и выражениях, что оправдывает и извиняет обе стороны», однако Гончарова оно не удовлетворило. Мучительно и долго вынашивавший свои замыслы, Гончаров не прощал Тургеневу легкости, с которой тот, как ему казалось, создавал свои не романы, а «эскизы». Сознавая по временам болезненность и преувеличенность своих подозрений, Гончаров не мог противостоять им и перипетии своей вражды с Тургеневым изложил в памфлетной исповеди «Необыкновенная история» (2-я половина 1870-х).
Сложная творческая история «Обрыва» тесно связана с общественной и культурной жизнью России 1850-60-х гг. «Этот роман была моя жизнь: я вложил в него часть самого себя, близких мне лиц, родину, Волгу, родные места…», писал Гончаров. В романе, задуманном в 1849 г. под названием «Художник», типичный конфликт личности и среды Гончаров рассматривал в особом аспекте исследования психологии, «силы творческой фантазии» художника. Но в начале 1860-х эта тема представляется Гончарову все менее актуальной. В 1860-61 он публикует отрывки из романа (с подзаголовком «Эпизоды из жизни Райского»): «Софья Николаевна Беловодова», «Бабушка», «Портрет». В это время Гончаров приходит к убеждению в необходимости пересмотра первоначального плана, возвращается к работе над романом в 1865-66 и завершает его летом-осенью 1868. Неуверенность, которую он испытывал, определяя идейную и нравственно-психологическую доминанту романа, отразилась и в поисках названия. Весной 1868 Гончаров решает назвать роман именем Веры; окончательное название найдено летом того же года: оно определяет судьбу молодого поколения, потерпевшего трагическое поражение в поисках своего исторического пути.
Публикация романа «Обрыв» («Вестник Европы». 1869. № 1–5; отд. изд. СПб., 1870) вызвала живой интерес читателей и бурные споры в разных литературных лагерях. Свое отношение к чуждому ему революционно-демократическому направлению Гончаров выразил в образе «нигилиста» Марка Волохова, что вызвало отрицательную оценку романа в либеральной и радикальной печати с характерными заглавиями рецензий: «Талантливая бесталанность» (Н.В.Шелгунов), «Старая правда» (А.М.Скабичевский), «Псевдоновая героиня» (М.К.Цебрикова), «Уличная философия» (М.Е.Салтыков-Щедрин). Представители другого лагеря, напротив, упрекали Гончарова в симпатии и к «грязному Марку» и к «незначительной Вере». Гончаров болезненно реагировал на односторонне-полемические выпады критики, оставившей без внимания достоинства романа. Он дважды пытался объясниться с читателями в «Предисловии к роману „Обрыв“» (1869) и статье «Намерения, задачи и идеи романа „Обрыв“» (1872), но своих авторских исповедей не опубликовал. Только в «критических заметках» «Лучше поздно, чем никогда» («Русская речь». 1879. № 6) Гончаров высказался о своем отношении к критике «Обрыва» и о понимании всех трех романов как трилогии («Все они связаны одною общею нитью, одною последовательною идеею — перехода от одной эпохи русской жизни, которую я пережил, к другой…»).
В последние десятилетия Гончаров редко выступал в печати, считая себя устаревшим и забытым автором. Откликаясь на постановку «Горя от ума» на сцене Александринского театра, он пишет «критический этюд» «Мильон терзаний» («Вестник Европы». 1872. № 3), содержащий глубокий анализ комедии А.С.Грибоедова, возможно, самого любимого им произведения, отзвуки которого ощутимы во всех его романах, в очерках, фельетонах, письмах. Две другие его работы о театре — «Материалы, заготовляемые для критической статьи об Островском» (1873-74) и «Опять „Гамлет“ на русской сцене» (1875) — остались незавершенными, как и статья «„Христос в пустыне“. Картина г. Крамского» (1874?). Были также опубликованы очерки «Из воспоминаний и рассказов о морском плавании» (1874; позднее печатались под названием «Через двадцать лет»), «Литературный вечер» (1880), «Слуги старого века» (1887), мемуары «В университете» (1860-е-1880-е), «Заметки о личности Белинского» (1881), «На родине» (1887).