Вспоминает художник Ефимов: «Я очень охотно ходил на открытые партийные собрания и с интересом слушал острые словесные баталии. С неизменным ораторским блеском выступал Троцкий, и мне хорошо запомнились отдельные его эффектные фразы: «Лениным никто не может стать, но ленинцем должен быть каждый!» Эта красивая сентенция вызвала дружные аплодисменты аудитории, и я видел, как и Сталин небрежно и снисходительно похлопал в ладоши. Выступления самого Сталина являли собой разительный контраст с яркими речами Троцкого. Довольно монотонно, невыразительным глуховатым голосом он перечислял: «Первая ошибка товарища Троцкого состоит в том… Вторая ошибка товарища Троцкого состоит в том… Четвертая ошибка… Шестая ошибка…» Конечно, он не мог сравниться с Троцким в красноречии, но в то время как Лев Давидович блистал и гремел на собраниях, Иосиф Виссарионович в тиши своего кабинета на Старой площади занимался более практическим делом: он заботливо подбирал кадры, на которые он мог надежно положиться при любом голосовании».
В 1922–1924 годах под вождя Красной армии копало тайное «политбюро», «семерка», в которое вошли все члены Политбюро, кроме Троцкого. Оно строило вертикаль власти без Льва Давидовича и его соратников. «Уже нельзя стало занять пост директора завода, секретаря цеховой ячейки, председателя волостного исполкома, бухгалтера, переписчицы, – писал Троцкий, – не зарекомендовав себя антитроцкистом». Чекисты (с 1922 года их ведомство было переименовано в ГПУ) докладывали Сталину, что в партийных организациях сохраняется много приверженцев Троцкого, в некоторых они составляют большинство. В 1923 году, а не, как принято считать, в тридцатых, Сталин изрек: «…главное, как считать голоса, а не как голосуют».
Сотрудник канцелярии Политбюро, а впоследствии беглец-невозвращенец из СССР Борис Бажанов, в лицах передал, как в сентябре 1923 года «тройка» решила нанести первый разгромный удар Троцкому.
23 сентября на Пленуме ЦК «тройка» предложила расширить состав Реввоенсовета. Все новые члены, во главе со Сталиным, оказались противниками Троцкого. Предреввоенсовета обрушился на «эпигонов»-интриганов, попросил родной ЦК освободить его от всех чинов и званий и направить простым солдатом в назревающую, очередную, на взгляд Коминтерна, германскую революцию. «Все это звучало громко и для «тройки» было довольно неудобно. Слово берет Зиновьев с явным намерением придать всему оттенок фарса и предлагает его также освободить от всех должностей и почестей и отправить вместе с Троцким солдатами германской революции. Сталин, окончательно превращая все это в комедию, торжественно заявляет, что ни в коем случае Центральный Комитет не может согласиться рисковать двумя такими драгоценными жизнями, и просит Центральный Комитет не отпускать в Германию своих «любимых вождей». Сейчас же это предложение было самым серьезным образом проголосовано. Все принимало характер хорошо разыгрываемой пьесы, но тут взял слово «голос из народа», ленинградский цекист Комаров с нарочито пролетарскими манерами. «Не понимаю только одного, почему товарищ Троцкий так кочевряжится». Вот это «кочевряжится» окончательно взорвало Троцкого. Он вскочил и заявил: «Прошу вычеркнуть меня из числа актеров этой унизительной комедии». И бросился к выходу. Это был разрыв. В зале царила тишина исторического момента. Но полный негодования Троцкий решил для вящего эффекта, уходя, хлопнуть дверью. Заседание происходило в Тронном зале царского дворца. Дверь зала огромная, железная и массивная. Чтобы ее открыть, Троцкий потянул ее изо всех сил. Дверь поплыла медленно и торжественно. В этот момент следовало сообразить, что есть двери, которыми хлопнуть нельзя. Но Троцкий в своем возбуждении этого не заметил и старался изо всех сил ею хлопнуть. Чтобы закрыться, дверь поплыла так же медленно и торжественно. Замысел был такой: великий вождь революции разорвал со своими коварными клевретами и, чтобы подчеркнуть разрыв, покидая их, в сердцах хлопает дверью. А получилось так: крайне раздраженный человек с козлиной бородкой барахтается на дверной ручке в непосильной борьбе с тяжелой и тупой дверью. Получилось нехорошо».
Троцкий свой окончательный проигрыш в дискуссии против «троцкизма» в 1923 году объясняет болезнью после переохлаждения на своей любимой охоте: «Ленин лежал в Горках, я – в Кремле». Но скорее всего, вождь попросту выдохся, ему было неинтересно заниматься каждодневной рутиной, текучкой. На словах он хотел немедленно, все дальше, в Европе, в Китае свергать правительства, но в действительности разуверился в реальности этих планов до тех пор, пока Советский Союз не пройдет собственную модернизацию. Письмо бывшего царского, а потом красного офицера Булгакову в 1928 году автор завершил так: «И ложь, ложь без конца… Вожди? Эти или человечки, держащиеся за власть и комфорт, которого они никогда не видали, или бешеные фанатики, думающие пробить лбом стену. А сама идея?! Да, идея ничего себе, довольно складная, но абсолютно непретворимая в жизнь, как и учение Христа, но христианство и понятнее и красивее. Так вот-с. Остался я теперь у разбитого корыта. Не материально, нет. Я служу, и по нынешним временам – ничего себе… Но паршиво жить, ни во что не веря. Ведь ни во что не верить и ничего не любить – это привилегия следующего за нами поколения, нашей смены беспризорной».
Газета «Правда» в начале января 1924 года порадовала очередным шедевром Демьяна Бедного: «Игра обогащена новою фигурою / Этакого, скажем, львиного наименования / Впадать в панику нет основания / Стальной слон нашего фронта единого / Не задрожит от рычания львиного». В Москве 16 января 1924 года открылась XIII партийная конференция. В это время Троцкий в персональном вагоне ехал в Сухуми подлечиться. Партия была проиграна. На самом деле он отправился в свою первую уже большевистскую ссылку. Конференцию партии в январе посвятили низвержению Троцкого. О Ленине говорилось как о вожде, который уже где-то там, в мире ином. Через два дня конференция завершилась. 21 января 1924-го при не до конца выясненных обстоятельствах Ленин ушел из жизни. Так же таинственно покинул этот мир в феврале 1953 года его наследник Сталин. За десять дней до своей гибели Троцкий 21 августа 1940 года опубликовал в журнале «Либерти» статью с намеком на то, что Ленина отравили.
27 января в Сухуми, лежа на балконе с видом на сверкающее море и пальмы на берегу, Троцкий слушал траурный салют: хоронили вождя революции. Вскоре курортника потревожила делегация товарищей из ЦК. Они для соблюдения декорума согласовали список очередных кадровых перемен в Реввоенсовете и Наркомвоенморе. «По существу это была уже чистейшая комедия, – вспоминал Троцкий. – Обновление личного состава в военном ведомстве давно совершалось полным ходом за моей спиной…» Фрунзе сменил Троцкого на посту предреввоенсовета только 6 января 1925 года. Но Лев Давидович продолжал оставаться членом Политбюро ЦК. Более того, члены Политбюро опубликовали заявление за всеми своими подписями, начиная со Сталина, о том, что не мыслят состав Политбюро без Троцкого. Молотов, правая рука Сталина, вспоминал по этому поводу: «Открытый разрыв еще не был подготовлен». В мае 1925 года Троцкого бросают в хозяйство: концессии, электротехника, наука и техника в промышленности. Он с присущими ему энергией и любознательностью идет в лаборатории и к научным светилам, штудирует учебники химии и гидродинамики.
