2 июля Бернадот приступил к исполнению своих обязанностей. С собой в министерство Жан Батист взял своих старых друзей и единомышленников: Жерара, Мэзона, Морэна, Сарразэна. Свояки Жозеф и Люсьен предприняли попытку продвинуть на ключевые посты военного ведомства своих людей с Корсики, но новый министр отбил все их атаки и сохранил за собой полную свободу действий. Если он кому и симпатизировал после переворота, то это были якобинцы типа Журдана, Ожеро и Шампионне.
На посту военного министра Бернадот пробыл всего два с половиной месяца. Что же удалось ему сделать за такое короткое время? Наполеон считал его деятельность сумбурной и дилетантской и что "…он делал только ошибки, ничего не организовал, и Директория была вынуждена удалить его с поста". Поль де Баррас, не самый жаркий почитатель Бернадота, придерживался на этот счёт другого мнения: "Бонапарт хочет принизить всё, чему он обязан Бернадоту. Он и его армия годами жили за счёт того, что он сделал за несколько месяцев…" Апологеты Карла XIV Юхана оценивают эту деятельность в самых хвалебных выражениях. Современные историки тоже полагают, что деятельность Бернадота как военного министра была полезной и честной, и этого нам вполне достаточно. Судить о её эффективности трудно, потому что плоды его трудов могли проявиться не сразу, а года через полтора-два. Но к тому времени на его месте были уже другие министры, в том числе недруг Бертье.
По мнению немецкого историка А. Имхофа, стиль работы нового военного министра был похож на стиль работы Л. Карно. Бернадот вставал каждый день в три часа утра и отправлялся на работу. В 4.00 он был уже на месте и работал до 19.00–20.00. От своих подчинённых он требовал работы с семи часов утра до десяти часов вечера. Тех, кто не справлялся со своими обязанностями или не выдерживал такой нагрузки, он нещадно увольнял. С первых же дней новый министр повёл жесточайшую войну с казнокрадами, ворами, взяточниками и прочими нечестными чиновниками, засевшими в министерстве. Он вступил в войну с бюрократией и пытался сделать так, чтобы все дела и бумаги были разобраны и на все входящие письма были даны ответы не позже суток после их поступления. Он потребовал от казны предоставить ему наличные денежные суммы, приступил к закупкам одежды и обмундирования и стал наводить порядок в интендантствах.
Дома после работы он почти всегда заставал у себя Жозефа с женой, но старший Бонапарт явно ошибался, если думал, что свояк будет плясать под дудку корсиканцев. Уже через месяц, 6 августа, он представил Директории доклад, содержавший анализ положения страны, состояния армии и перечень мер, которые было необходимо принять. Лейтмотивом доклада стало восстановление мощи армии, её удовлетворительное снабжение, вооружение и обучение.
Министр отправил в действующую армию на Рейн и в Италию линейные полки, которые трусливая Директория, опасаясь за свою власть и жизнь, стянула внутрь страны. Он установил тесный и перманентный контакт с властями в департаментах страны, вступил с ними в постоянную переписку, а когда и где было нужно, выезжал на места сам и своими зажигательными речами всегда способствовал успеху того или иного предприятия. В газетах Франции в этот период регулярно появлялись распоряжения военного министра, его приказы, памфлеты и статьи. Своей агитацией он хотел возбудить в стране старый якобинский дух, который увял за годы Директории.
Фронты получили в это время примерно 100-тысячное подкрепление. Когда Бернадот покидал свой пост, французская армия в целом, включавшая Рейнскую, Дунайскую, Альпийскую, Итальянскую и Английскую армии, насчитывала около 430 тысяч человек, из которых примерно половина находилась на фронтах. Новый министр практически реорганизовал все рода войск и сумел вдохнуть в разложившуюся армию новый дух. Он планировал реформировать систему снабжения армии, но не успел. Он вернул талантливого Жубера на пост главнокомандующего Итальянской армией и расставил также на руководящие должности Брюна, Моро и Шампионне.
К заслугам Бернадота как министра принадлежит спасение им от смертной казни более 2 тысяч участвовавших в беспорядках жителей Тулузы. К нему как-то пришёл министр юстиции и спросил, как следовало поступить с теми тулузцами, вина которых была не так уж велика.
— Отпустите их, — ответил военный министр.
Министр юстиции собрался уже уходить, но остановился в дверях и спросил:
— А что делать с теми, кого взяли с оружием в руках?
— Если они пустили оружие в ход, то единственным наказанием для них может быть лишь поступление на службу в армию, — ответил Бернадот. — Всех прочих отпустите домой.
Во время работы Бернадота в военном министерстве был случайно раскрыт роялистский заговор. Заговорщики послали пробное письмо Баррасу, но оно по ошибке попало к Сиейесу. Т. Хёйер описывает попытку вовлечения военного министра в якобинский заговор, когда к нему в сентябре 1799 года явилась депутация якобинских лидеров, обеспокоенных действиями министра полиции Фуше, направленными против их партии. Депутацию возглавляли Журдан, Ожеро и Саличетти. Они обвинили Барраса, Сиейеса и Фуше в узурпировании власти и попрании конституции и предложили Бернадоту войти в заговор и арестовать членов Директории. В новом якобинском правительстве Бернадоту была предложена ведущая роль. По воспоминаниям Сарразэна, Бернадот, Ожеро и Журдан должны были стать консулами, а сам мемуарист — военным министром. Бернадот тогда якобы отказался участвовать в "незаконном" заговоре, но заявил, что, как только сложит с себя обязанности военного министра, употребит всё своё влияние в армии на то, чтобы способствовать претворению якобинских планов в жизнь. Как конкретно он имел в виду способствовать "претворению якобинских планов" — путём военного переворота или захвата власти в парламенте, — не совсем ясно. Сарразэн утверждает, что Бернадот донёс о заговоре Баррасу и Сиейесу и тем самым сорвал замыслы заговорщиков. В своих поздних мемуарах кораль Карл XIV Юхан вспоминает, что в бытность свою военным министром Франции взвешивал возможность ограничить состав Директории тремя членами. Уж не отголоски ли это якобинского заговора?
В щекотливое положение попал Бернадот и в другой раз, когда скрывавшийся в Париже принц Энгиенский пришёл к нему и под обещание будущих почестей, власти и богатства попросил помочь ему укрыться от преследования Директории. Бернадот, сославшись на присягу Республике, порекомендовал принцу немедленно уехать из Парижа, ибо в противном случае он будет вынужден отдать приказ о его аресте. Военный министр в данном случае не хотел рисковать своей карьерой, считая момент для переворота слишком неудачным. "Если Франции суждено стать монархией, то я подчинюсь власти событий, но это буду не я, кто вызовет их", — якобы заявил он принцу. Бернадот не принадлежал к людям, способным поставить всё на одну карту, как это делал, к примеру, Наполеон.
Бернадот колебался. Мешала ли ему сделать выбор приверженность к конституции, законности и порядку? Или главной причиной была его природная осторожность и нерешительность? Как бы то ни было, но он оставлял двери открытыми и для роялистов, и для их противников.
Уходя с поста военного министра осенью 1799 года, он не обогатил свой личный карман ни одним су. Сиейес ревниво следил за деятельным министром, и его личная неприязнь к Бернадоту тоже сыграла свою роль в отставке. "Мы ничего не значим, — как-то съязвил бывший аббат, — никто нас не замечает, правительство состоит из одного только военного министра". Другой раз, услышав речь Бернадота, полную патетики и патриотических призывов, он сказал: "Вон идёт гусь лапчатый, возомнивший себя орлом!" В стране снова поднимали голову якобинцы, и Баррас с Сиейесом боялись, что Бернадот примкнёт к ним и сбросит их в одну ночь на свалку истории. Мнительному аббату всё время чудился Бернадот в образе Каталины.
Как и предполагалось, Бернадот оказался слишком честным и самостоятельным для Сиейеса: когда Сиейес стал предпринимать попытки сделать военного министра орудием исполнения своих личных планов, терпение Бернадота лопнуло, и он подал в отставку.
Отставка была оформлена в лучших иезуитских традициях. 14 сентября 1799 года, во время беседы с Бернадотом по поводу организации т. н. Северной армии, Сиейес, наградив его лицемерными комплиментами о заслугах на посту военного министра, сказал с масляной улыбочкой на губах:
— Нас не удивит, что человек с вашими полководческими талантами сохранил желание при уходе из министерства принять командование над какой-либо армией, которое воодушевит вас…
Бернадетт ответил, что после того как он привёл министерство в надлежащий порядок, его лучшей наградой будет возвращение к своим братьям по оружию. Он и понятия не имел, что этот ответ послужил его ходатайством об отставке. Уже на следующее утро он получил от Сиейеса следующее послание:
