А началось всё с того, что в адреса военных в мае стали поступать брошюры, вложенные в красно-синие конверты. Брошюры содержали материал с призывом свергнуть диктатора Наполеона, и их получил даже военный министр Бертье. Когда об этом доложили первому консулу, тот дал приказ начать секретное расследование, которое вёл сначала парижский префект Лют Дюбуа. Неожиданно в парижскую полицию с заявлением пришла молодая женщина, которая рассказала, что её любовник капитан Огюст Рапатель и адъютант генерала Симона, находившийся в Париже в отпуске, получил из Ренна целую пачку красно-синих брошюр. За расследование взялся также префект Ренна Мунье, и поскольку Рапатель был родственником генерала Моро, то Мунье тут же взял его на подозрение. Министр полиции Жозеф Фуше, симпатизировавший в этот момент якобинцам, с самого начала выдвинул версию о том, что к памфлетам причастны роялисты, подделавшиеся под стиль якобинцев, и начал собственное параллельное расследование в Сен-Мало (Бретань).
Скоро, однако, Мунье удалось выйти на след типографии, отпечатавшей брошюры, а также на человека, отправившего пачку с брошюрами капитану Рапателю в Париж. Последовали аресты, среди которых оказались два адъютанта Бернадота — Фуркар и Марбо — и младший лейтенант Бертран, ответственный в армии за почтовую связь, а значит, и за т. н. чёрный кабинет. Лейтенант успел сжечь все уликовые бумаги, и подозрение Мунье стало концентрироваться на генерале Симоне. Префекту удалось так обработать генерала, что тот был вынужден назвать автором двух памфлетов себя, а в сочинении третьего антинаполеоновского опуса был вынужден сознаться Бертран. Оба офицера категорически утверждали, что никакие другие люди в заговоре не участвовали.
К делу о памфлетах в Западной армии прибавилось ещё дело 82-й полубригады, которая взбунтовалась и отказалась отправляться в Индию. Во время бунта офицеры полубригады, в частности полковник Пиното и командир батальона Мюллер, довольно резко высказывались против диктатора Наполеона.
Виновных отправили в ссылку. Бертран скоро умер в Кайенне, а генерала Симона помиловали и перевели на о-в Олерон. Потом ему разрешили поселиться у себя на родине, а в 1809 году он вернулся на активную службу в армию. Фуркар и Морбо вышли из дела сухими, поскольку к "заговору" они оказались не причастны. Бернадот демонстративно не выступил на их защиту и на их арест дал формальное согласие.
Многие исследователи не сомневаются в том, что Бернадот был главным организатором дела с сочинением и распространением брошюр среди военных. Все арестованные по обоим делам офицеры были близки к нему и пользовались его полным доверием. Владелец злосчастной типографии, ссылаясь на рассказ Бертрана, показал на следствии, что Пиното, вернувшись из поездки в Париж, привёз с собой приказ о начале заговора, во главе которого стоял Бернадот. При этом он и понятия не имел о том, кто такие были Пиното и Бернадот.
Т. Хёйер и в данном случае снова очищает Бернадота от всяких подозрений. Саму идею заподозрить его в участии в этой весьма невинной и неуклюжей акции историк считает абсурдной. К такому же выводу в 1921 году пришёл французский историк Ф. Массон. И в самом деле: неужели опытный генерал, находившийся в верхнем эшелоне власти, отличавшийся чрезвычайной осторожностью (вспомним его поведение во время фрюктидора и брюмера) рискнул бы своей карьерой и будущим ради участия в какой-то гимназической шалости с рассылкой конвертов в адреса известных генералов, включая самого Бертье? Наш герой был очень осторожным человеком и на подобную бы авантюру не пошёл. Бернадоту можно было бы только вменить в вину то, что он вокруг себя создал такую моральную обстановку, которая в конечном итоге сделала возможным выступление Симона-Бертрана.
Сам Бернадот вспоминал, что в момент "заговора" Симона-Бертрана он готовил в Париже базу для конституционного свержения первого консула, так что ничего не ведавший об этом Симон своими неразумными действиями лишь сорвал этот замечательный замысел. В 1833 году Карл XIV Юхан дополнил свою версию новыми деталями, сообщив в своих "Записках о конкордате", что Симон стал жертвой полицейской провокации, целью которой была дискредитация Бернадота. Т. Хёйер считает это объяснение короля вполне достоверным.
Фрондёрство Бернадота продолжилось и в атмосфере "семейного единения", и основания для недовольства Бернадотом у Наполеона были достаточно веские. 18 апреля 1802 года Франция праздновала подписание Амьенского мира и заключение с Ватиканом т. н. конкордата, по которому в стране возобновляла свою деятельность католическая церковь. Заключение конкордата было воспринято как в стране, так и в непосредственном окружении Наполеона неоднозначно. Многим соратникам Наполеона ещё были памятны реакционеры в сутанах, и примирительный по отношению к церкви шаг они считали самоубийственным. Наиболее ярыми противниками конкордата были генералы. После заключительной молитвы Те Deum в соборе Парижской Богоматери генерал Дельма подошёл к первому консулу и бросил ему прямо в лицо такие слова: "Прекрасная капуцинада — не хватает только миллиона людей, которые положили свои жизни на уничтожение того, что Вы сегодня восстанавливаете".
Несколько раньше, когда первый консул после процедуры подписания конкордата в том же соборе Парижской Богоматери с папой Пием VII 15 июля 1801 года обратился к стоявшему рядом Бернадоту с вопросом: "Не правда ли, всё сегодня, кажется, восстановлено в соответствии со старым порядком?", то вряд ли ожидал услышать из уст Бернадота очередную дерзость: "Да, гражданин консул, всё, кажется, восстановлено в соответствии со старым порядком, кроме тех двух миллионов французов, которые погибли за свободу и которых уже не воскресить".
Дельма собрал единомышленников — генералов Лекурба, Доннадье и др. и на первой торжественной службе в соборе Парижской Богоматери собирался обсудить с ними возможности покушения на Наполеона. На этом летучем совещании присутствовал и Бернадот. Он высказался там за смещение первого консула, но против его убийства. Согласно более поздним заявлениям Бернадота, он якобы в этот день предлагал генералам Ожеро, Массена и Макдональду арестовать Наполеона во время богослужения, лишить его власти на основании параграфа конституции, запрещавшего французам исполнение официальных функций в других странах, и выслать его в Италию. (Накануне Наполеон был избран президентом Итальянской республики и, значит, не мог оставаться первым консулом Франции.) Бернадот предлагал учредить директорию из трёх членов, в которую должны были войти он с Моро. По пути в собор Парижской Богоматери он якобы остановил кареты генералов и сделал им это предложение, но никто из них так и не вышел из своих карет.
Мимо Фуше, а значит, и Наполеона эти разговоры не прошли.
Генерал Моро, не явившийся на праздник подписания конкордата и надевший своей собаке кружевной воротник (с намёком на папу Пия VII) дорого заплатил за своё диссидентство. Даву, ставший начальником ещё одной тайной службы, приказал арестовать ближайших помощников Моро и обвинил их в участии в покушении на Наполеона. Скоро наступила очередь и самого Моро.
Недовольство конкордатом и диктаторскими замашками первого консула проявлялось не только среди военных, но и в первую очередь в среде интеллектуалов, депутатов, сенаторов и чиновников, но их голосов не было слышно, потому что они боялись и пикнуть при Наполеоне. В этот период Бернадот стал постоянным участником вечеров в салонах мадам де Сталь и Рекамье, где собирались оппозиционные к Консульству элементы.
Время до весны 1804 года Бернадот, ожесточённый немилостью Наполеона и подавленный бездельем, провёл в Париже, на курортах или в своём имении Лягранж. Полиция Фуше ходила за ним по пятам и составляла отчёты о его совместных с Массена, Моро, Макдональдом и Ожеро интригах. Любой его контакт с официальным лицом, депутатом или сенатором рассматривался правящим режимом под углом зрения неблагонадёжности. Тем не менее Наполеон пока не трогал строптивого беарнца и утешал его (и вероятно, себя) тем, что непременно найдёт ему новое дело.
Неудачу с луизианским губернаторством Наполеон накануне 1803 года решил компенсировать заманчивым предложением занять пост французского посла в Вашингтоне, чтобы завершить начатые там переговоры с президентом Джефферсоном. И 21 января 1803 года состоялось официальное назначение Бернадота послом в США. Вашингтон не шёл ни в какое сравнение с чопорной и враждебной Веной, и Бернадот с энтузиазмом стал готовиться к командировке. 19 апреля 1803 года он, сопровождаемый женой и сыном, а также адъютантом полковником Жераром, прибыл в порт Рошель, чтобы взойти на борт фрегата, отправлявшегося в Америку. Когда начали грузить багаж, из Парижа по телеграфу пришло указание о том, чтобы фрегат вышел в море для выполнения более важного задания, а Бернадоту и его семье предлагалось воспользоваться другим судном. Другое судно — тоже фрегат — стояло в доке и ремонтировалось. Пока шёл ремонт фрегата, Англия 16 мая 1803 года объявила Франции войну, и английский флот плотно блокировал морские коммуникации Франции. Пересекать Атлантический океан при полном господстве английского флота было рискованно, а Бернадоту, хоть и хотелось удалиться подальше от Наполеона, но проводить свои дни в качестве английского пленника в Тауэре или другой британской тюрьме не хотелось. На дипломатической карьере генерала снова был поставлен жирный — теперь окончательный — крест. Он сложил с себя посольские полномочия и, к величайшему разочарованию Наполеона, вернулся в Париж. Там ему вернули генеральское жалованье, но армии не давали. Бернадот продал свой дом на рю Цизальпин и в предместьях столицы купил имение Лягранж.
