Красота Натальи Ивановны заблистала при дворе. О ней говорили, о знакомстве с нею мечтали. В нее влюбился кавалергард А. Я. Охотников, фаворит императрицы. От него у императрицы была дочь, не дожившая и до трех лет. В октябре 1806 года человек, подосланный якобы великим князем Константином Павловичем, смертельно ранил Охотникова при выходе из театра, и в январе 1807 года он умер.
Скорее всего, для того чтобы замять эту историю, Наталью Ивановну выдали замуж за Николая Афанасьевича Гончарова, который был чрезвычайно счастлив происшедшим, потому что, как упоминалось, был сильно влюблен в свою избранницу.
Венчание фрейлин, по обычаю, совершалось в Дворцовой церкви. Не была исключением и эта свадьба. В камер-фурьерском журнале матери Александра I императрицы Марии Федоровны есть запись, датированная 27 января 1807 года, в которой подробно описывается бракосочетание Натальи Ивановны и Николая Афанасьевича. По странному совпадению, ровно через тридцать лет, 27 января 1837 года, муж их дочери Натальи Николаевны стрелялся на дуэли, отстаивая «честь жены», и получил смертельную рану…
На венчании присутствовала вся царская фамилия: император Александр I, императрица Елизавета Алексеевна, вдовствующая императрица, супруга Павла I Мария Федоровна, великие князья Михаил и Николай — будущий император Николай I, великие княжны Екатерина и Анна. Без сомнения, почитаемы были роды Загряжских и Гончаровых за их заслуги перед отечеством. Самодержец российский молился пред алтарем за новобрачных — поистине великая честь!
Перед венчанием Наталью Ивановну препроводили во внутренние покои к государыне императрице Марии Федоровне, где она «убираема была бриллиантовыми к венцу наколками».
Много уже говорено о красоте Натальи Ивановны, но и ее супруг, Николай Афанасьевич, был под стать ей. Высокий, стройный, с классически правильными чертами лица, богато одаренный природой, с детства окруженный самыми нежными заботами, он рос единственным ребенком в семье. По повелению императрицы Екатерины с самого рождения Николая зачислили капралом в конный полк. Эта монаршая милость пришлась не по вкусу матери, которая считала, что единственный наследник крупного майората не может подвергаться тягостям и лишениям военной службы. Тщетно стремился Николай Афанасьевич к военной карьере — мать выказала непреклонность. Это противодействие задушевным внутренним порывам молодого человека оставило горький след в его жизни. Однако мать приложила все старание, чтобы сын получил домашнее образование на уровне самых высоких требований того времени.
В 1808 году Николай Афанасьевич получил чин коллежского асессора, перевелся в Москву и поступил на должность секретаря московского губернатора. Медовый месяц и первые годы протекли для четы Гончаровых в упоении любви и радостях начинающейся супружеской жизни. Но постепенно тучи стали появляться на этом безоблачном небосклоне… Отец Афанасий Николаевич «хозяйничал» в Полотняном Заводе. Он всячески отдалял своего сына от дел, скрывая свои безумные любовные траты. Молодой человек свято верил в неприкосновенность гончаровских миллионов до той минуты, когда старик, потеряв спокойствие ввиду приближения грозной катастрофы, не открыл ему неутешительную правду. По своему обычаю, не задумываясь о последствиях, Афанасий Николаевич свалил тяжелую ношу запутанных дел и подорванного кредита на неопытные плечи наследника и укатил на несколько лет за границу.
Николай Афанасьевич без сожаления отказался от праздной московской жизни, переселился с семьей в Полотняный Завод и с неутомимой энергией принялся наводить порядок. Беззастенчивое растаскивание барского добра прекратилось, под зорким хозяйским оком снова заработали фабрики. За пять лет упорного труда Николаю Афанасьевичу удалось заделать прорехи. Сын высылал отцу крупные суммы, стараясь удерживать его тем самым за границей. В 1811 году Николай Афанасьевич был награжден орденом Владимира IV степени «за приведение к должному устройству и усовершенствованию состояния в Калужской губернии фабрики полотняной и писчей бумаги».
Но тут наступил 1812 год: наполеоновская война нарушила мир в Европе. Французы близко подошли к гончаровским владениям. В Полотняном Заводе некоторое время стоял со своим штабом фельдмаршал Кутузов. Комнаты, в которых он жил, сделались исторической реликвией и стали называться кутузовскими. Можно себе представить, сколько пищи для детской фантазии маленьких Гончаровых дал этот факт столь близкого соприкосновения с судьбами отечества. Увы! Хранимый от французов, дом этот подвергся опустошительному нашествию собственного «иностранца». Афанасий Николаевич в самом начале войны сумел пробраться через границу и вернуться в Завод. Он привез с собой очередную любовницу — мадам Бабетт и стал требовать, чтобы ей оказывали знаки внимания, положенные хозяйке дома. Этим событием чрезвычайно осложнились семейные отношения.
Ко всему прочему, старику показалось, что сын кичится перед ним своей деловитостью и умственным превосходством, и вместо признательности за поправку дел он затаил на него злобу. Нашлось немало приближенных к хозяину людей, которым хотелось бы вернуться к прежней безалаберной жизни. Они разжигали страсти, наушничая и раздувая недоброжелательство отца к сыну. Очень скоро от критики Николая Афанасьевича перешли к игнорированию его распоряжений. Какое-то время сын еще пытался удержать отца от бесхозяйственности и расточительства, но на открытый скандал не шел, преклоняясь перед волей и властью Афанасия Николаевича. До нас дошло письмо сына к отцу, написанное уже после того, как в 1815 году Афанасий Николаевич полностью отстранил Николая Афанасьевича от дел. Отец, видимо, почувствовал некоторое угрызение совести и послал сыну в подарок дорогой перстень. Вот ответ сына:
«Милостивый Государь Батюшка Афанасий Николаевич, приношу вам мою благодарность за присланный мне через Наталью Ивановну перстень с портретом прадедушки Афанасия Абрамовича. Я принял его с должной признательностью. Чувствуя по недостоинству моему, что не заслуживаю я от вас такого внимания и памяти вашей обо мне, позвольте мне подарить его Митиньке, который, надеюсь, с возрастом своим будет достойнее иметь такой памятник и лучше меня заслужит звание достойного потомка фамилии Гончаровых. Ожидая вашего на то позволения или позволения отдать его под сохранение Наталье Ивановне, пребыть честь имею
Покорный ваш сын, Уничтоженная тварь
Николай Г…ров».
Можно представить, каковы были душевные терзания Николая Афанасьевича, видевшего, что труды его по восстановлению хозяйства разбиваются в пух и прах в угоду мимолетному капризу отца, но ничего нельзя было изменить. Огромная ответственность лежала на нем за судьбу своих собственных детей, которых к тому времени было уже шестеро: первенец и наследник майората Дмитрий, Екатерина, Иван, Александра, Наталья и новорожденный Сергей. Несмотря на то, что первые годы после отстранения сына от дел Афанасий Николаевич выдавал его семье достаточное содержание — 40 тысяч рублей ежегодно, Николай Афанасьевич теперь не мог обмануться, предчувствуя угрозу полного разорения. И его предчувствия оправдались. После скоропостижной смерти Афанасия Николаевича в 1832 году оказалось, что он оставил в «наследство» своим потомкам полтора миллиона долга!