Неизвестно, как это случилось, но художник решил, что старшая дочь Апраксиной, Мария Владимировна, полюбила его и что брак с нею принесет ему счастье, какого он еще никогда не испытал в своей жизни. Разницы в общественном положении он не забывал, но со свойственным ему простодушием верил, что чистое чувство между «девой благородного рода» и «бедным художником» может сделать эту разницу незаметной.
Мария Владимировна отличалась миловидностью. Иванов мысленно сравнивал се с головками Леонардо. Она получила светское воспитание, знала иностранные языки, любила балы, танцы и другие развлечения. Иванов решил, что она сможет стать ему верной подругой, и за отсутствием других достоинств у своей избранницы строил фантастические планы о том, что знание иностранных языков поможет ей ознакомить его с новинками «западной учености». Мысль о женитьбе крепко засела в сознании художника. Не обладая искусством светского обращения, он не умел скрыть от посторонних свои намерения, вел себя, как большой ребенок, и обнаруживал всякое неудовольствие признанием собственной невменяемости. Иванов просил Софью Петровну помочь ему в его делах и повлиять в пользу него на петербургское начальство, у сына ее он просил солидную сумму денег на покупку книг для русских художников.
В конце концов Софья Петровна Апраксина решила, что «le peintre russe» (русский живописец) не в своем уме, и насмешливо запросила Гоголя, может ли тот поручиться за умственные способности рекомендованного им приятеля. Видимо, и самого Гоголя смущало поведение Иванова, и, для того чтобы удержать его от дальнейших бестактностей, он передал ему слова Софьи Петровны. Они больно задели Иванова, хотя он и оставался далек от глубокой обиды на друга. В конце концов брак Иванова с Марией Владимировной так и не состоялся. Она вышла замуж за князя Мещерского. Но крушение надежд оставило глубокий след в сознании художника. «Лета мои уходят, — писал он, — ас ними и те дни, в которые человек должен бы быть сопричастен самым высоким наслаждениям жизни. Главной целью жизни для него оставалось «совестливое окончание трудов». Ни одного упрека по адресу судьбы не вырвалось из уст художника, и только один вопрос он не мог в себе удержать: «Неужели мы всё еще живем в те суровые времена, когда нельзя в то же время прибавить и самые высокие наслаждения жизни, составляющие полноту человеческого блаженства?»
В своих отношениях с Гоголем Иванов обычно уступал ему во всем, признавая его умственное превосходство. Гоголю был свойствен дружески-покровительственный тон по отношению к художнику. Еще в 1843 году в связи с волнениями Иванова и готовностью его бросить все и отправиться в Петербург, Гоголь взывал к его благоразумию, настойчиво советовал ему остаться в Риме. В 1846–1847 годах новая вспышка беспокойства Иванова вывела Гоголя из себя. Гоголю стало известно, что, оказавшись в затруднительном положении, Иванов пишет куда попало, взывает к милости вельмож. И скоро к Гоголю стали отовсюду поступать запросы. Гоголю стало очевидно, что Иванов пришел в то возбужденное состояние, в котором он мог наделать много глупостей и только напортить своему делу. От Иванова Гоголь получил письмо с утопическим планом устройства русских художников. Иванов особо рассчитывал на помощь литераторов, и в частности Гоголя. По мысли Иванова, литераторы должны стать чем-то вроде толкачей между художниками и власть имущими: охраняя их от того недопонимания, от которого, по его мнению, так страдало искусство, Иванов приглашал Гоголя «своим гениальным пером приготовить государя на верную оценку наших художественных произведений». Художник хватался за мысль о помощи писателя как за соломинку, но не подумал о том, в каком состоянии находился в то время сам Гоголь. А положение Гоголя было тогда далеко не блестящим: неудачи со второй частью «Мертвых душ» довели его до готовности отреченья от писательской деятельности. Даже обожаемый Рим был ему теперь противен. Нет ничего удивительного, что проекты Иванова занять место секретаря вызвали в нем взрыв раздражения. «Запритесь в свою студию, — писал он, — гоните лукавого». Иванов болезненно воспринимал назидания Гоголя. Несколько раз Иванов оставлял его письма нераспечатанными.
Хотя Иванов неизменно благоговел перед гением Гоголя и дорожил его мнением, он находил, что тот недостаточно вникает в творческие интересы художников, и называл его поэтому «теоретическим человеком». В остальном размолвка не могла поколебать годами сложившейся дружбы. Стоило Гоголю узнать о нездоровье Иванова, и в тоне его письма к художнику вновь появляются нотки самой искренней ласки. Со своей стороны, и Иванов быстро забывает нанесенные обиды и с большой теплотой отвечает ему.
В годы, когда Гоголь создавал свои «Выбранные места из переписки с друзьями», Иванов стал снова часто встречаться с ним и вести долгие беседы. Многое из того, что русские читатели прочли только в 1847 году, он еще ранее слышал из уст самого автора. Трудно было ему не избежать на себе воздействия Гоголя, но стать его верным последователем он не мог. Иванов готов был признать, что искусство должно служить духовному воспитанию человека, но отказаться от искусства ради проповеди прописной морали он не желал — это претило всей его артистической натуре.
За несколько лет до выхода в свет «Выбранных мест» Гоголя Иванов должен был выдержать натиск еще с другой стороны. В 1845 году в Рим прибыл Ф. В. Чижов. Он находился тогда под обаянием московских славянофилов. В Риме в то время жил Н. И. Языков, которого славянофилы считали своим самым боевым поэтом. Со всею страстностью своей натуры Чижов прилагал усилия, чтобы сделать из Иванова художника-славянофила. Было много доводов, которые не могли не подействовать на Иванова, так как они соответствовали его собственным воззрениям. Славянофилы говорили о гниении современной западной культуры и обосновывали это историческими экскурсами в прошлое. Иванов видел, как в Риме деградировало современное искусство, и поэтому должен был согласиться с ними. Чижов говорил о том, что славянофилы по достоинству оценили самобытную культуру древней Руси, народное творчество, старые летописи, и это также должно было привлекать Иванова, который на чужбине так стремился к русской старине и в Москве видел средоточие ее лучших традиций. Но Иванов не стал славянофилом. Его творчество и в эти годы никак не укладывалось в узкое русло славянофильской теории.
В вопросах общественно-политических Иванов не отрекается от понятий, выработанных в дни ранней молодости. Говоря о царском правительстве, он неизменно называет его «деспотической властью» и в этом расходится со славянофилами, защитниками монархии. В царских чиновниках его возмущает «насильство невежественного властелина». Сознавая себя художником-демократом, он дает себе зарок держаться в стороне от «высоких лиц по роду».