В процессе дознания Хитрово продолжал ссылаться на Дашкову. Оба брата Паниных, немедленно приехали в дом своего племянника и заперлись с Михаилом Ивановичем в отдельной комнате, чтоб обсудить создавшуюся ситуацию. Сама княгиня до совещания допущена не была. 12 мая она родила сына Павла и лежала в постели, поправляясь после родов. Екатерина Романовна испытывала муки Тантала, не имея возможности услышать, о чем говорят Панины с ее мужем за стеной, в соседних покоях. Утром того же дня приехал статс-секретарь Екатерины Г. Н. Теплов с письмом императрицы, но не к Дашковой, а к ее мужу. Михаила Ивановича просили частным образом повлиять на жену. «Я искренне желаю не быть в необходимости предать забвению услуги княгини Дашковой за ее неосторожное поведение. Напомните ей это, когда она снова позволит себе нескромную свободу языка, доходящую до угроз», — писала императрица.
Во время путешествия Екатерины Романовны за границу Дени Дидро записал слова княгини о том, что после дела Хитрово только болезнь избавила ее от ареста. В «Записках» об этом нет ни слова. Однако есть живая картина страданий Дашковой в часы ожидания действий императрицы, совершенно непонятная, если принять версию мемуаров о непричастности Екатерины Романовны к делу. Страх, испытанный молодой женщиной, еще не оправившейся после родов, привел к нервному срыву. «Я почувствовала сильные внутренние боли и судороги в руке и ноге», — пишет она. После припадка, сопровождавшегося частичным параличом конечностей, княгиня выздоравливала очень долго. О Хитрово Екатерина Романовна сообщает, что он был сослан в Сибирь. Это не так, княгиня со свойственной ей горячностью сгущает краски. Хитрово отправили в родовое имение, а двое его товарищей просто были уволены со службы.
Вскоре двор отбыл в Петербург, а Дашкова вынуждена была остаться в Москве под благовидным предлогом «поправления здоровья». Это была первая кратковременная опала княгини. «Чистый воздух, холодные ванны и правильная жизнь благотворно повлияли на мое здоровье. В декабре я, хотя еще и не совсем окрепши, уехала в Петербург», — сообщала княгиня в мемуарах. Вновь в Москву Дашкова вернулась только через два года и опять опальной. На этот раз ее имя оказалось замешано в деле подпоручика В. Я. Мировича, предпринявшего неудачную попытку освободить из Шлиссельбургской крепости свергнутого Елизаветой Петровной императора Ивана Антоновича. О роли Дашковой в деле Мировича английский посол Бакингемшир информировал свое правительство в июльских донесениях 1764 г.: «Княгиню Дашкову видели в мужской одежде среди гвардейцев, но за ее шагами внимательно следят, и ей скоро придется отправиться в Москву. Разочарованное тщеславие и неугомонная амбиция этой молодой леди, кажется, каким-то образом повлияли на ее чувства; если бы она удовлетворилась скромной долей авторитета, то могла бы оставаться до сего времени первой фавориткой императрицы».
Пока тянулось расследование связей Мировича в вельможной среде, к Дашковой пришло страшное известие. Ее муж, посланный с русскими войсками в Польшу, способствовать вступлению на престол короля Станислава-Августа Понятовского, скончался. Нервы Екатерины Романовны, и без того натянутые как струна, не выдержали. «Левая рука и нога… совершенно отказались служить и висели, как колодки… я пятнадцать дней находилась между жизнью и смертью» — писала Дашкова.
Горе оглушило княгиню. Ее семейная жизнь не была гладкой: измученный домашним деспотизмом супруг случалось изменял Екатерине Романовне, она ревновала его к императрице. Много лет спустя на одном из московских балов дочь Дашковой Анастасия Щербинина говорила А. С. Пушкину, что ее отец был влюблен в Екатерину II. На многие выходки Дашковой императрица закрывала глаза из-за дружеского расположения к князю. Больше этой защиты не было.
За Михаилом Ивановичем числились очень крупные долги. Дашкова обладала самыми богатыми родственниками в России. Следовало ожидать, что они не оставят княгиню в несчастье. Но, судя по «Запискам», вышло иначе. Панины, которым Михаил Иванович перед смертью поручил опеку над женой и детьми, по службе, не могли заниматься ее имениями и уговорили княгиню саму войти в роль третьего опекуна, т. е. вся тяжесть управления хозяйством легла на плечи неопытной в этом отношении женщины. Воронцовы отвернулись от Екатерины Романовны еще со времен переворота. В старой столице опальную княгиню с детьми ждала крупная неприятность. Ее свекровь, еще недавно благосклонно настроенная к невестке, теперь показала Екатерине Романовне, что такое старомосковские порядки. Она по своему усмотрению распорядилась недвижимостью, и подарила свой московский дом внучке Глебовой, а сама перебралась в монастырь. Оказалось, что Дашковой просто негде жить в Москве, и она приказала везти себя в Троицкое. Почему ни один из московских родственников ее мужа не захотел приютить у себя в доме молодую вдову с двумя маленькими детьми? В «Записках» Екатерина Романовна об этом не пишет, но ситуация и без того выглядит достаточно прозрачно. На княгине лежала печать царской немилости, и родные просто побоялись сближаться с заподозренной в заговоре особой.
В подмосковном имении Троицком для Дашковой началась совсем новая жизнь. Она сама должна была стать управителем имений и строго следить за выплатой долгов покойного супруга. Впервые Екатерине Романовне пришлось самой иметь дело с крепостными. Известный издатель прошлого века М. И. Семевский справедливо замечал, что, когда речь идет об историческом деятеле XVIII в., нелишне знать, как он относился к своим крестьянам. Екатерина Романовна оказалась суровой помещицей, ее крестьяне часто бунтовали. Взгляды Дашковой на крепостное право вскрылись в ее диалогах с Д. Дидро во время путешествия во Францию. Исчерпав все доводы в пользу освобождения крестьян только после их просвещения, она восклицает:
«Если б самодержец, разбивая несколько звеньев, связывающих крестьянина с помещиком, одновременно разбил бы звенья, приковывающие помещика к воле самодержавных государей, я с радостью и хоть бы своей кровью подписалась бы под этой мерой». Читая эти пламенные строки, надо знать, что цепь, сковывавшая императора и дворян, была разорвана к тому времени уже около десяти лет манифестом Петра III «О вольности дворянства» 1762 г. Об этом в разговоре с философом владелица большого состояния умолчала. Ее крестьяне нередко ударялись в бега целыми деревнями, спасаясь от непосильных оброков. В «Записках» же создается впечатление, что Екатерине Романовне удалось поправить свое имущественное положение исключительно благодаря строжайшей экономии.