С 1928 года началась физическая расправа — троцкистов и зиновьевцев начали десятками и сотнями ссылать в Сибирь. Идеологически дискредитированные, как антиленинцы, особенно после антисталинских демонстраций 7 ноября 1927 года (в день годовщины Октябрьской революции) в Москве (Троцкий) и в Ленинграде (Зиновьев), троцкисты и зиновьевцы легко были сданы в руки ОГПУ. Теперь Бухарин и остался один на один со Сталиным, и Сталин приступил к осаде сначала "школы Бухарина" (теоретическая критика), а потом и группы Бухарина (политическая критика). В этих условиях и приходилось отвечать на вопрос: "как быть"? К началу похода против Бухарина многие из ведущих лидеров троцкизма, в том числе и сам Троцкий, были сосланы. Но у Троцкого остались подпольные группы в Москве, которые продолжали нелегальную работу против Сталина. К этим группам принадлежали и некоторые из тех, которые подписали заявление о капитуляции и поэтому избегли ссылки и были восстановлены в правах членов партии. У зиновьевцев, наоборот, рядовые члены были репрессированы, а сами Зиновьев и Каменев, безоговорочно подписав капитуляцию и признав Сталина "великим вождем", а Троцкого "историческим врагом" народа, остались в Москве. Зиновьев и Каменев, конечно, не были искренни, и Сталин им ни на йоту не верил, но в тот период такое самобичевание "старых большевиков" и льстивые восхваления ими Сталина, как "вернейшего соратника" Ленина, лили воду на сталинскую мельницу.
Новый раскол в Политбюро, совершенно неожиданный для Зиновьева и Каменева, поставил и их перед тем же вопросом: "как быть, с кем пойти"? Сами бухаринцы великолепно понимали, что апеллируя в борьбе со Сталиным к старым оппозиционным группам, они рискуют сами оказаться в роли беспринципных банкротов в политике. Для Сталина такой поворот бухаринцев в сторону троцкизма давал неоценимые тактические козыри, тогда как Бухарин мало выигрывал, так как основные кадры Троцкого и сам Троцкий, как уже указывалось, были не только политически, но и физически изолированы.
При всем этом бухаринцы понимали, что блок возможен только на основе единой платформы по ведущим вопросам внутренней и внешней политики, но такая платформа с Троцким исключалась. Что касается Зиновьева то сам он был весьма неподходящим человеком для нелегальных переговоров, еще более для блока с ним. Он уже дважды заключал блок с Троцким и оба раза изменил ему в самый критический момент. Восторженный трибун революции, когда ее победа обозначалась наверняка, он легко впадал в панику, если надо было рисковать головой. Так было с ним и накануне решающих дней октябрьского переворота большевиков, когда он на секретных заседаниях ЦК 10 и 16 октября 1917 года дважды голосовал с Каменевым против вооруженного восстания. В ночь октябрьского переворота он вообще исчез неизвестно куда, создавая себе алиби, хотя его друг Каменев вместе с Троцким лично руководил из Смольного института ходом восстания. Наверное, этим объяснялось то, что когда правые решили повести переговоры с зиновьевцами о создании блока против Сталина, то они обратились не к Зиновьеву, а к Каменеву. Более того, правые были склонны вообще исключить Зиновьева из новой комбинации, если Каменев и зиновьевцы согласятся на совместные действия без Зиновьева. Эти переговоры повел от имени правых летом 1928 года Бухарин с Каменевым. Беседа происходила с соблюдением всех условий конспирации на квартире Каменева. Присутствовал лишь один Сокольников — "посредник" и друг Каменева. Информировав Каменева подробно об основных пунктах разногласий внутри Политбюро и о настроениях отдельных его членов, Бухарин сделал конкретное предложение о блоке. Каменев почти со стенографической точностью записал исповедь Бухарина, считая себя морально обязанным довести до сведения Зиновьева содержание беседы Бухарина. В тот же день Каменев предъявил Зиновьеву свою "запись беседы". Приятно удивленный Зиновьев увидел в откровениях Бухарина совершенно неожиданные перспективы для своего возвращения к власти. Но вскоре собственноручная запись Каменева очутилась и у Сталина. Можно себе представить, как был обрадован Сталин, получив в свои руки столь гибельное для бухаринцев оружие.
— "Правые уже в гробу, — дело только за могилой",торжествовал он.
После этого провала бухаринцы относились ко всяким предложениям представителей бывших оппозиции весьма скептически. Троцкисты у бухаринцев пользовались и как идейная сила, и как антисталинские фанатики лучшей репутацией. Причем троцкисты, несмотря на разгром и ссылку их руководителей, продолжали непримиримую борьбу против "эпигонов Октября" и "сталинской реакции". Мужество, бесстрашие и готовность на личные жертвы выгодно отличали троцкистов от зиновьевцев. В этом отношении троцкисты как союзники были бы весьма реальной силой, но идеологическая пропасть между "левыми" и "правыми" была той мертвой зоной, куда не осмеливались вступить ни доктринеры-бухаринцы, ни идеалисты-троцкисты. Редкие лица из обеих групп поднимались выше обеих доктрин в смысле понимания исторических перспектив. Борьба шла не за ленинизм, а за власть, — ни левые, ни правые этого не понимали. Сталин это понимал отлично. Поэтому, цепляясь за буквы ленинизма, и левые и правые стремительно падали на дно, а Сталин столь же стремительно шел к вершине власти. Ее он достиг ровно через год, в декабре 1929 года, когда впервые вся страна прочла на страницах "Правды": "Сталин — вождь партии и лучший ученик Ленина". Это было как бы юридической документацией исторического переворота…
Когда начались массовые высылки, особенно высылки руководящих лидеров, троцкисты радикально изменили тактику. С ведома или без ведома своего руководства, но они в своей массе прекратили открытую борьбу против "партии" и перешли к нелегальным методам. Открыто бороться против сталинского ЦК сейчас было и практически невозможно. Уже XV партийный съезд объявил проповедь троцкизма несовместимой с пребыванием в партии. Поэтому тот, кто принадлежал ранее к троцкистам, а теперь хотел оставаться в партии или вернуться в партию, должен был публично объявить (видные троцкисты — в печати, рядовые — на партийных собраниях), что они признают "генеральную линию" правильной, Сталина вождем, а Троцкого врагом партии. Для троцкистов это было тяжелой и противной их натуре задачей. Все-таки они вынуждены были так поступать, так как другого пути обратно в партию не было. Хотя Сталин относился с подозрением к их возвращению или покаянию, но в тот период это было ему выгодно в борьбе с бухаринцами. Поэтому троцкистов массами восстанавливали в партии, возвращали из ссылки и которые из них вновь выдвигались на руководящие посты Упорствовал только Троцкий и несколько его лучших друзей. Однако большинство троцкистов признало Сталина только на словах, чтобы на деле бороться и дальше за дело Троцкого. Троцкисты этого толка были почти во всех звеньях органов государственного управления, за исключением самого партийного аппарата и органов политической полиции. Несмотря на тотальный разгром последовавший за "планом Маленкова", троцкисты имели сильнейшее влияние и среди московского студенчества Почти половина состава преподавателей общественных наук в московских вузах была из бывших или настоящих троцкистов, другая половина была явно бухаринская. Меньше всего было влияние троцкистов в рабочей среде, еще меньше — в крестьянстве. Там и здесь господствовало пробухаринское настроение. Я уже сказал, что вернувшись в партию или открыто покаявшись в своих "грехах", троцкисты изменили тактику борьбы со Сталиным. Они создали свои собственные группы и кружки, которые вербовались исключительно из коммунистов и ставили своей целью развертывание нелегальной работы как в партии, так и среди рабочих. Соответственно были выработаны и методы работы — в партии вести индивидуальную обработку членов партии в антисталинском духе, в рабочей среде вести нелегальную работу путем массового и систематического распространения прокламаций, листовок и лозунгов. Первые листовки этого рода посылались из Алма-Аты, подписанные самим Троцким. За ними последовали воззвания к московским "большевикам-ленинцам" от бывшего командующего Московским военным округом Муралова, к "соратникам и единомышленникам"- от Мрачковского и др. В Москве они перепечатывались на гектографе и потом распространялись по всей стране самыми различными путями через Союзпечать, вложенные в официальные издания (через своих людей); через почту — как заказные письма к местным парторганизаниям и их руководителям; через торговые и кооперативные организации — как оберточная бумага к торговым посылкам.
Воззвания, составленные в Москве, носили всегда анонимный характер: "группа большевиков-ленинцев", "ленинская группа", "группа старых большевиков", "группа рабочих большевиков".