Подвигая Дуню к совершенству, «философ женщин» вызвал в ней, сам того не желая, любовь к себе. Авдотья Сергеевна, по словам Жихарева, «была девушкой болезненной и слабой, не могла помышлять о замужестве, нисколько не думала скрывать своего чувства, откровенно и безотчетно отдалась этому чувству, и им была сведена в могилу. Любовь умирающей девушки была, может быть, самым трогательным и самым прекрасным из всех эпизодов его жизни». Основные перипетии «трогательного эпизода» развернутся позднее. Но уже сейчас Петра Яковлевича настораживают полные робкой и нежной застенчивости взгляды вразумляемой им женщины, что не входит в расчеты возложенной им на себя миссии «пророка» и «сеятеля» взыскуемого «царства истины» (в Евангелии и в религиозных сочинениях он специально помечает все рассуждения о преимуществах девства перед супружеством в служении богу). Одновременно эта миссия позволяла Чаадаеву сохранять необходимую дистанцию, сокращение которой налагало бы на него непривычные обязательства и посягало бы на его независимость и свободу. Подобная необходимость входила в известное противоречие со ставимой им задачей преодоления собственного эгоизма, находившего к тому же обаятельный покой и утешение в общении с представителями мирной стихии вечно женственного.
Такое сложное сочетание чувств у Петра Яковлевича проявляется и в его взаимоотношениях с другой соседкой — Екатериной Дмитриевной Пановой (урожденной Улыбышевой), владевшей имением в нескольких верстах от Алексеевского, в селе Орево. В 1827 году она приехала сюда в очередной раз из Москвы вместе со своим мужем В. М. Пановым, впоследствии довольно известным агрономом и автором популярных брошюр по сельскому хозяйству. В годы своего пребывания в Петербурге Чаадаев мог знать ее брата Александра Улыбышева, тогда активно участвовавшего в жизни литературно-театрального общества «Зеленая лампа», члены которого разделяли конституционно-республиканские устремления «Союза благоденствия». На одном из заседаний «Зеленой лампы» Улыбышев прочитал свою публицистическую утопию «Сон», содержавшую программу демократических преобразований. Впоследствии, однако, социальные интересы сменились музыковедческими, и он написал монументальные труды о Моцарте и Бетховене. Сестра Екатерины Дмитриевны Елизавета также была небезызвестна, занималась поэзией и в 40-х годах выпустила ряд сборников на французском языке («Искры и пепел», «Мысли и заботы», «Шипы и лавры»), куда, кроме собственных оригинальных произведений, она включила свои переводы стихов русских писателей, в том числе и Пушкина. В предисловии к одному из сборников она отстаивала право писать на французском языке, возражая Сенковскому, выступившему с критической рецензией на ее предыдущую книгу.
А что же представляла собой сама Екатерина Дмитриевна? В пору знакомства с Петром Яковлевичем ей двадцать три года, вот уже пять лет как она вышла замуж, но детей не имела. M. H. Лонгинов, называвший ее «молодою, любезною женщиной», а их отношения «близкой приязнью», писал: «Они встретились нечаянно. Чаадаев увидел существо, томившееся пустотой окружавшей среды, бессознательно понимавшее, что жизнь его чем-то извращена, инстинктивно искавшее выхода из заколдованного круга душившей его среды. Чаадаев не мог не принять участия в этой женщине; он был увлечен непреодолимым желанием подать ей руку помощи, объяснить ей, чего именно ей недоставало, к чему она стремилась невольно, не определяя себе точно цели. Дом этой женщины был почти единственным привлекавшим его местом, и откровенные беседы с ней проливали в сердце Чаадаева ту отраду, которая неразлучна с обществом милой женщины, искренно предающейся чувству дружбы. Между ними завязалась переписка, к которой принадлежит известное письмо Чаадаева, напечатанное через семь лет и наделавшее ему столько хлопот».
И хотя в связи с «хлопотами» Петр Яковлевич станет объяснять московскому обер-полицмейстеру, что часто встречался с Пановой в Ореве, поскольку «в бездействии находил в этих свиданиях развлечение», он не мог не помнить и ласковой отрады женского общества, и непреодолимого желания помочь томившемуся пустотой существу, хотя ее неказистая, лишенная эстетической привлекательности усадьба и отталкивала его, подобно низким домам в Алексеевском. Да и в ее отношениях с мужем он наблюдал отсутствие дружеской близости и теплоты домашнего очага, что пробуждало в его сознании мысли, обобщенно выразившиеся в первом философическом письме: «В своих домах мы как будто на постое, в семье имеем вид чужестранцев».
Екатерина Дмитриевна делится с Чаадаевым своим неустройством, жалуется на изнуряющее бессилие перед каждым новым днем, который она не знает чем наполнить, не говоря уже о целой жизни. И лишь поэтические картины сельской местности на закате дня и книги (среди них и философские, например сочинения Платона) уносят на короткое время ее из горькой действительности. Однако, признается Екатерина Дмитриевна, она не может отказаться от бесконечного шума новостей и удовольствий светского общества, что усиливает ее душевное напряжение. Вспоминая исповеди Пановой, Петр Яковлевич напишет: «Я уважаю, я люблю в вас более всего ваше чистосердечие, вашу искренность. Эти прелестные качества очаровали меня с первых минут нашего знакомства».
В отличие от «обыкновенной» Авдотьи Сергеевны Норовой Екатерина Дмитриевна Панова выделяется в глазах Чаадаева из толпы беспокойством духа и развитостью ума, умением находить «прелесть в познании и в величавых эмоциях созерцания». Надо только, думает он, наполнить эти свойства существенным содержанием, ибо молодая женщина не заглядывает в Евангелие, не ходит в церковь и вообще пребывает в полном религиозном неведении. Тогда и многие тяжелые для нее проблемы повернутся к ней другой стороной.
И Петр Яковлевич советует Екатерине Дмитриевне, говоря словами его первого философического письма, «облечься в одежду смирения, которая так к лицу вашему полу», что «скорее всего умиротворит ваш взволнованный дух и прольет тихую отраду в ваше существование». Свои наставления он продолжает и в Москве, где в 1828 году почти постоянно встречается с супругами Пановыми, одалживая даже, при собственных больших долгах, им деньги. Екатерина Дмитриевна испытывает безграничное уважение к Чаадаеву, характеру которого, по ее словам, свойственна «большая строгость». Она покорена его всецелой поглощенностью высокими мыслями. Ей представляется, что она прониклась «философией смирения» и понимает ее утешительные, хотя и необычные в свете существующей традиции, выводы. «Слыша ваши речи, я веровала, — напишет она ему через несколько месяцев, — мне казалось в эти минуты, что убеждение мое было совершенным и полным».
