Осенью в 21-м году было в Петербурге происшествие Семеновского полка. Император Александр в это время находился на съезде в Лейбахе и узнал от Меттерниха, иго любимый его полк взбунтовался; известие его сильно поразило. Семеновский полк был расформирован, и нижние чины были развезены по разным крепостям Финляндии, потом многие из них были прогнаны сквозь строй, другие биты кнутом и сосланы в каторжную работу, остальные посланы служить без отставки, первый батальон в сибирские гарнизоны, второй и третий размещены по разным армейским полкам. Офицеры же следующими чинами все были выписаны в армию с запрещением давать им отпуска и принимать от них просьбу в отставку; запрещено было также представлять их к какой бы то ни было награде. Четверо из них: Вадковский, Кошкаров, Ермолаев и князь Щербатов были отданы под суд; при этом надеялись узнать от них что-нибудь положительное о существовании Тайного Общества. На Щербатова падало более подозрений, нежели на других, по связи его со мной и короткому знакомству с лицами, подозреваемыми правительством. Он был приговорен к лишению всех прав состояния и к разжалованию в солдаты; но ему обещали совершенное прощение, если он сообщит какие-нибудь сведения о существовании Тайного Общества. Сам он не принадлежал к нему; видаясь же беспрестанно со мной, он знал многое, но наша тайна была для него священна, и он решился лучше быть невинной жертвой, нежели поступить предательски. На все задаваемые ему вопросы о Тайном Обществе он отвечал, что ничего не знает. При вступлении на престол ныне царствующего императора приговор суда над Щербатовым был исполнен, и он был послан на Кавказ солдатом.
После семеновской истории император Александр поступил совершенно под влияние Меттерниха, перешел от народов, прежде усердно им защищаемых, на сторону властей, и во всех случаях почитал теперь своею обязанностью защищать священные права царей. Тут прекратилось в нем раздвоение; и в Европе и в России политические его воззрения были одни и те же. В 22-м году, по возвращении в Петербург, первым распоряжением правительства было закрыть масонские ложи и запретить в России тайные общества: со всех служащих были взяты расписки, что они не будут принадлежать к тайным обществам. Разумеется, что такое распоряжение поставило в необходимость петербургских членов быть очень осторожными, вследствие чего они редко собирались между собой, и прием новых членов почти совсем прекратился. У императора была в руках Зеленая Книга, и он, прочитавши ее, говорил своим приближенным, что в этом уставе Союза Благоденствия все было прекрасно, но что на это нисколько нельзя полагаться, что большая часть тайных обществ при начале своем имеют почти всегда только цель филантропическую, но что потом эта цель изменяется скоро и переходит в заговор против правительства. С этих пор император находился в каком-то особенном опасении тайных обществ в России. К нему беспрестанно привозили бумаги, захваченные у лиц, подозреваемых полицией. И странно, в этом случае не попался ни один из действительных членов. Это самое еще более смущало императора. Он был уверен, что устрашающее его тайное общество было чрезвычайно сильно, и сказал однажды князю П. М. Волконскому, желавшему его успокоить на этот счет: «Ты ничего не понимаешь, эти люди могут кого хотят возвысить или уронить в общем мнении; к тому же они имеют огромные средства; в прошлом году, во время неурожая в Смоленской губернии, они кормили целые уезды». И при этом назвал меня, Пассека, Фонвизина, Михаила Муравьева и Левашова. Все это передал мне Павел Колошин, приехавший из Петербурга по поручению Н. Тургенева; я был тогда случайно один в Москве. И. А. Фонвизин жил в подмосковной, а М. А. уехал в свою костромскую деревню. Тургенев заказывал нам с Колошиным быть как можно осторожнее после того, что император назвал некоторых из нас.
В 22-м году, по сформировании нового Семеновского полка, вся гвардия выступала из Петербурга в поход, под предлогом предстоящей будто бы войны, а в самом деле потому, что опасались пребывания гвардии в столице. Васильчиков уже не командовал гвардейским корпусом. Чтобы уменьшить свою ответственность по случаю истории Семеновского полка, он уверял императора, что не в одной гвардии, но и в армии распространен дух неповиновения, и в доказательство подал ему письмо своего брата, командира гусарской бригады, в состав которой входили полки Лубенский и Гродненский. В этом письме Васильчиков жаловался старшему своему брату на Граббе, описывая все случаи, в которых его подчиненный оказывал ему все возможные неуважения. Меньшой этот Васильчиков был плохой человек. Дибич, бывши еще начальником штаба 1-ой армии и проезжая через Дорогобуж, просил убедительно Граббе, для пользы службы, во фрунте вести себя пристойно с бригадным своим командиром, прибавив: в комнате дело другое, и сделал рукою движенье, которое выражало: в комнате, пожалуй, можно его и поколотить. Письмо Васильчикова сильно подействовало на императора. За несколько месяцев перед тем Граббе с своим полком из Дорогобужа был переведен не помню в какую губернию. Совершенно неожиданно получил он бумагу от начальника штаба его императорского величества с надписью: отставному полковнику Граббе. Князь Волконский писал к нему, что поведение его с бригадным командиром заслуживает примерного наказания, но что государь император, во уважение прошедшей отличной его службы, приказал не подвергать его военному суду и повелел ему с получением сего сдать полк старшему по себе и отправиться на жительство в Ярославль, не заезжая ни в одну столицу. Случившиеся тут офицеры были так поражены неожиданным распоряжением, что спросили у Граббе, что он прикажет им делать. Он их успокоил и, сдавши в 24 часа полк подполковнику Курилову, отправился с своим денщиком Иваном, едва имея с чем доехать до Ярославля. Он командовал Лубенским полком почти 6 лет; в это время на его месте всякий дошлый полковой командир составил бы себе огромное состояние. Некоторые из коротких приятелей Граббе сложились и доставляли ему годовое содержание, без чего он решительно не имел чем существовать в Ярославле.
Поход гвардии имел совершенно противные последствия, нежели каких от него ожидал император. Офицеры всех полков, более свободные от службы, чем в Петербурге, и не подвергаясь такому строгому надзору, как в столице, часто сообщались между собою, и много новых членов поступило в Тайное Общество. Никита Муравьев, в Витебске, написал свою конституцию для России; это был вкратце снимок с английской конституции. В 23-и году, по возвращении гвардии в Петербург, Пущин принял Рылеева, с поступлением которого деятельность петербургских членов очень увеличилась. Много новых членов было принято.