Однако даже наличие контрольной группы не гарантирует точности результата. Вот исследование, которое на первый взгляд предоставляет убедительное доказательство, что подход СПИН повышает продуктивность (рис. А. 2).
В данном случае крупная мультинациональная компания решила проверить действенность модели СПИН, обучив 31 продавца регионального отделения по работе с крупными клиентами. Для контроля были выбраны прочие отделения, не прошедшие курс обучения. На сей раз показатели продаж, произведенных обученным отделением, не являлись результатом влияния рынка или продуктов, ибо эти факторы одинаково воздействовали и на контрольные отделения. Более того, не наблюдалось значительных изменений в штате компании, как на уровне продавцов, так и среди менеджеров. Возможно, теперь нам удалось наконец проверить действие модели СПИН.
Результат – 57 % роста по сравнению с контрольной группой – выглядел убедительно, однако мы задали себе обычный в таких случаях контрольный вопрос: «Есть ли другая причина, способная столь же правдоподобно объяснить данный прирост?» К нашему сожалению, таковая была.
Рис. А. 2. Сомнительное исследование с контрольной группой
Отделение было создано совсем недавно, всего за четыре месяца до начала обучения СПИН. Средний цикл продажи данного спектра продуктов составлял три месяца. То есть увеличение продуктивности вполне могло быть вызвано тем, что истекло время, необходимое новому отделению, чтобы набрать темп, а также отсроченным окончанием трехмесячного цикла продажи. Наше «доказательство» вновь лопнуло как мыльный пузырь.
Наше досье пестрит подобными примерами оценочных исследований, которые выглядят вполне убедительными, но не выдерживают тщательной проверки. Вот еще один случай, подтверждающий это (рис. А. 3). Крупная компания, занимавшаяся оргтехникой, решила оценить методы СПИН на сезонном рынке, где февраль – самый прибыльный месяц.
Рис. А. 3. Увеличение продуктивности отделения, обученного технике СПИН, по сравнению с четырьмя контрольными группами
Дабы компенсировать воздействие сезонности и рынка, компания в качестве контрольных групп взяла каждое отделение, работавшее на том же рынке. Отслеживалось количество заказов у каждого отделения до и после тренинга в экспериментальном отделении, прошедшего в начале января. Как вы видите, отделение, обученное технике СПИН, показало великолепный рост продуктивности по сравнению с остальными. На этот раз все пять отделений открылись достаточно давно, так что проблемы с циклом продаж или с кривой обучения отсутствовали. Может ли это служить доказательством, которое мы искали? К сожалению, нет.
В ноябре в филиале сменился управляющий. Как мы можем быть уверены, что резкое повышение продуктивности было вызвано использованием модели СПИН, а не новой системой управления продажами, внедренной в декабре? Риторический вопрос. Тем не менее компания попыталась ответить на него, проведя опрос среди всех участвовавших в тренинге продавцов. Каждого из них просили оценить, в какой мере изменения были обусловлены обучением СПИН и насколько – другими причинами. Хотя каждый продавец дал свою оценку, тот факт, что большинство ответов гласили: «На 50 % благодаря СПИН», вызвал у меня подозрение. Я больше склонен считать, что респонденты затруднялись с ответом.
Невозможно в ходе эксперимента полностью устранить воздействие прочих организационных и рыночных факторов, и это означает необычайную сложность получения убедительных доказательств для любой модели продаж. Мы старались как могли: нашли организацию, согласившуюся не менять продукты, управление или продавцов в течение всех шести месяцев проведения теста. Какое-то время мы были убеждены, что осуществим оценочное исследование, способное выдержать самую жесткую проверку. Затем, в начале третьего месяца проведения эксперимента, презренная конкуренция сбила цены на 15 %. Наш клиент, вынужденный быстро реагировать, изменил цены, сменил людей и продукты. Еще один провалившийся тест!
Мы думали, что наконец можем контролировать необходимые факторы в одной высокотехнологичной компании. Тестовое отделение отлично функционировало – с результатом на 73 % выше, чем в контрольных отделениях, – и мы были уверены, что на этот раз победим. Однако в середине пути мы пали жертвой управляющего одного из отделений контрольной группы. До начала теста его отделение было лучшим и потому являлось предметом его гордости. Теперь же, видя, что показатели экспериментального отделения намного превосходят таковые его отделения, он решил принять меры. Глубокой ночью он поднял архивы учебного отдела и скопировал все материалы о программе, использованные нами в экспериментальном отделении. Взяв со своих сотрудников клятву хранить тайну, он начал самостоятельно обучать их по украденным материалам.
Это погубило наш тест. В тот момент я был взбешен поступком честолюбивого наглеца, но теперь готов признать, что результат этого исследования был самым убедительным доказательством эффективности модели СПИН: чтобы украсть наши разработки, менеджер по продажам проехал за ночь 600 миль.
Возможно ли получить доказательство?
В 1970 году совместно с Петером Уарром и Майком Бердом я написал книгу об обучении оценке. Один из выводов в нашей книге гласил: сложности управления факторами реальной жизни делают практически невозможным получение доказательства роста продуктивности в результате обучения. В процессе работы над книгой мы обсуждали «идеальное» оценочное исследование. Майк Берд и я сидели в офисе и часами размышляли о том, как бы разработать идеальную оценку. Майк нарисовал на доске схему (рис. А. 4) и сказал: «Смотри, большинство людей именно так проводят оценку. Однако, – добавил он, – взгляни на все это множество переменных.
Как ты можешь доказать, что какое-то изменение произошло только под воздействием обучения?» Он быстро схематически показал влияние некоторых других факторов (рис. А. 5).
Рис. А. 4. Общепринятый подход к оценке
Рис. А.5. Побочные переменные общепринятого подхода к оценке
Подобные разговоры вгоняли меня в депрессию, особенно потому, что как раз в это время я читал книгу Карла Поппера, философа, известного своим утверждением о невозможности доказать вообще что-либо. Поппер предположил, что единственный способ доказать что-то в науке – снова и снова безуспешно пытаться это опровергнуть. «Можем ли мы воспользоваться таким подходом? – поинтересовался я. – Просто предположим, что, вместо того чтобы пытаться доказать, что обучение повышает продуктивность, мы подойдем к вопросу с обратной стороны и попробуем опровергнуть какое-либо воздействие на продуктивность. Может, так будет лучше?»
