И вот, разобравшись, возвращаемся к сосуду, 60% голышей в котором белые. Если вынуть из сосуда 100 голышей (положив им замену), можно обнаружить, что именно 60 из вынутых белые, но можно вынуть и 50, 59 белых голышей. Каковы шансы того, что из вынутых вами голышей белых будет от 58% до 62%? Каковы шансы того, что вы вынете белых голышей от 59% до 61%? Насколько вы можете быть уверены, если вместо 100 голышей вынете 1 тыс. или даже 1 миллион? Вы никогда не можете быть уверены на все 100%, но возможно ли вынуть достаточно голышей для того, чтобы шансы, скажем, того, что вы вынете белых голышей от 59,9% до 60,1%, стали равны 99,9999%? «Золотая теорема» Бернулли и применима как раз в таких случаях.
Чтобы воспользоваться ею, придется совершить два выбора. Во-первых, вы должны определить, какая погрешность является для вас приемлемой. Насколько должен быть близок к 60% ряд ваших испытаний? Вам нужно выбрать интервал, например, плюс или минус 1%, 2% или 0,00001%. Во-вторых, вы должны решить, какая неопределенность является для вас приемлемой. Вы не можете быть уверены на 100% в том, что испытание выдаст результаты, к которым вы стремитесь, но вы можете позаботиться о том, чтобы получать удовлетворительный результат в 99 случаях из 100 или 999 случаях из 1 тыс.
«Золотая теорема» сообщает о том, что всегда возможно вынуть достаточно голышей для того, чтобы быть почти уверенным в том, какой процент белых голышей из вынутых будет ближе всего к 60%, и это несмотря на то, насколько требовательны вы в своем определении этого «почти уверен» и «ближе всего». С помощью теоремы также выводится формула числа испытаний, которые «достаточны» в рамках приведенного выше определения.
Первая часть закона была достижением на понятийном уровне, именно она и осталась в современной версии теоремы. Что же до второй части — формулы Бернулли — то важно понять: хотя «золотая теорема» определяет число испытаний, достаточных для достижения уверенности и точности, она не говорит, что невозможно достичь этого при меньшем числе испытаний. Это не влияет на первую часть теоремы, для которой достаточно знать лишь то, что число определенных испытаний конечно. Однако Бернулли также намеревался использовать число, выведенное с помощью формулы, в практических целях. Возьмем числовой пример, который Бернулли придумал сам, хотя контекст я изменил. Предположим, 60% избирателей в Базеле поддерживают мэра. Скольких человек необходимо опросить, чтобы шансы обнаружить, что мэра поддерживают от 58% до 62%, равнялись 99,9%, то есть, чтобы получить результаты с точностью плюс-минус 2%? (Предположим, оставаясь в согласии с Бернулли, что опрошенные люди выбраны наугад, однако с заменой. Другими словами, возможно, что одного и того же человека вы опросите более одного раза.) Ответ — 25 550, во времена Бернулли почти все население Базеля. Тот факт, что число это невозможно, от Бернулли не ускользнул. Он также знал, что опытные игроки интуитивно угадывают свои шансы на удачу в новой игре, основываясь на выборке, гораздо меньшей, чем тысячи испытаний.
Одна из причин того, почему численная оценка Бернулли была так далека от оптимальной, заключается в следующем: его доказательство было основано на множественных аппроксимациях. Другой причиной было то, что в качестве стандарта достоверности он выбрал 99,9% — то есть, он предполагал, что получит неверный ответ (ответ, который отличается от верного более чем на 2%) менее чем в 1 случае из 1000. А это чересчур высокий стандарт. Бернулли назвал его моральной достоверностью, имея в виду степень достоверности, которой, по его мнению, должен обладать человек здравомыслящий, чтобы принять рациональное решение. В наше время мы отказались от понятия моральной достоверности в пользу того, о чем поговорим в последней главе — о статистической значимости — подразумевая, что ваш ответ будет неверным менее чем в 1 случае из 20. Возможно, это скорее к вопросу о том, насколько сильно поменялся мир с тех пор.
Пользуясь современными математическими методами, статистики продемонстрировали, что в опросе, подобном описанному мною, можно получить статистически значимые результаты с точностью плюс-минус 5%, опросив при этом всего 370 человек. Если же вы опрашиваете 1000, вы выходите на 90% шанс получить верный результат плюс-минус 2% (60% голосование за мэра Базеля). Однако, несмотря на некоторые свои недостатки, «золотая теорема» Бернулли явилась своеобразной точкой отсчета, потому что продемонстрировала, — по крайней мере, в принципе — что достаточно большая выборка почти наверняка отразит неявные настроения населения.
В реальном мире нам нечасто доводится наблюдать чьи-либо действия в количестве тысяч испытаний. Таким образом, если Бернулли требовался чрезмерно высокий стандарт достоверности, в реальных жизненных ситуациях мы часто совершаем ошибку прямо противоположную: предполагаем, что выборка или серия испытаний является репрезентативной, когда на самом деле она слишком малочисленна, чтобы быть надежной. Например, если во времена Бернулли вы опросили бы 5 жителей Базеля, подсчеты по примеру тех, о которых шла речь в главе 4, продемонстрировали бы: шансы того, что вы получите результат 60% (3 человека) поддержки мэра, равны всего 1 из 3.
Всего 1 из 3? Разве истинное процентное количество сторонников мэра не должно быть наиболее вероятным исходом в случае выборочного опроса голосующих? На самом деле 1 из 3 и есть самый вероятный исход: шансы найти 0, 1, 2, 4 или 5 сторонников ниже, чем шансы найти 3. Тем не менее 3 сторонника едва ли найдутся: существует так много нерепрезентативных возможностей, что их суммированные шансы становятся в два раза больше шансов того, что ваш опрос точно отражает настроение населения. Таким образом, при опросе 5 голосующих в 2 случаях из 3 вы получите «неверное» процентное количество. В действительности, примерно в 1 случае из 10 вы обнаружите, что все голосующие, которых вы опросили, соглашаются либо с тем, что мэр им симпатичен, либо с тем, что он им не симпатичен. Так что если вы отнеслись к выборке из 5 человек серьезно, вы наверняка либо сильно переоценили, либо сильно недооценили истинную популярность мэра у населения.
Превратное представление — или ошибочное интуитивное чутье — относительно того, что небольшая выборка точно отразит неявные вероятности, настолько распространено, что Канеман и Тверский дали ему название: закон малых чисел{98}. На самом деле закон малых чисел — вовсе не закон. Это ироничное название, описывающее ошибочную попытку применить закон больших чисел в том случае, когда на самом деле числа не являются большими.
Если применить не являющийся истинным закон малых чисел только к ситуациям с сосудами, последствия будут невелики, однако, как мы уже говорили, многие события в жизни подпадают под определение процесса Бернулли, так что интуиция часто приводит нас к неправильному истолкованию того, свидетелями чему мы являемся. Вот почему, как я уже писал в главе 1, когда на глазах у людей Шерри Лансинг и Марк Кантон более или менее успешно управляют бизнесом в течение нескольких лет подряд, напрашивается вывод: предшествующий опыт этих управленцев точно предсказывает качество их работы в последующие годы.
Давайте на основе этих идей рассмотрим пример, о котором я коротко упомянул в главе 4: ситуация, в которой две компании или два сотрудника, работающие в одной фирме, соперничают между собой, при этом практически ни в чем не уступая друг другу. Вспомните о генеральных директорах 500 крупнейших мировых компаний, вошедших в рейтинг журнала «Форчун». Предположим, что каждый из генеральных директоров, имея некоторые знания и умения, обладает определенной вероятностью успеха в каждом году (как бы при этом в их компаниях этот успех ни определяли). Простоты ради предположим, что для этих генеральных директоров удачные годы случаются с такой же периодичностью, что и в примерах с белыми голышами и сторонниками мэра: 60%. (В данном случае чуть большее или чуть меньшее значение числа не оказывает влияния на основную идею.) Означает ли это, что в пределах пятилетнего периода мы можем ожидать от генерального директора успехов в управлении компанией в течение именно трех лет?
Нет. Как показал предыдущий анализ, даже если генеральные директора все поголовно будут обладать стабильным показателем успеха в 60%, шансы, что в течение заданного пятилетнего периода деятельность конкретного генерального директора отразит это, равны всего 1 к 3! В приложении к 500 компаниям это означало бы, что за последние пять лет около 333 генеральных директоров продемонстрировали уровень деятельности, не отражавший их реальные способности Более того, следует ожидать, что совершенно случайно примерно 1 из 10 генеральных директоров продемонстрирует успех или же неудачу все пять лет подряд. О чем эго говорит? Надежнее судить о людях, основываясь на анализе их способностей, нежели на цифровых показателях. Или же, как выразился Бернулли, «не стоит оценивать людские деяния исходя из результатов»{99}.
