1, 3, 9, 27, 81, 243, 729, 2187, 6561, 19 683…
Последовательность, каждый член которой поочередно умножается на два и на три:
1, 2, 6, 12, 36, 72, 216, 432, 1296, 2592, 7776, 15 552…
Все эти последовательности подчиняются закону Бенфорда.
То же самое можно сказать и о последовательности чисел Фибоначчи, в которой каждое следующее число представляет собой сумму двух предыдущих:
1, 1, 2, 3, 5, 8, 13, 21, 34, 55, 89, 144…
Чем больше членов последовательности вы анализируете, тем ближе распределение первых цифр чисел, входящих в нее, к распределению Бенфорда.
Тед также доказал, что любая последовательность, которая начинается со случайного числа и формируется по принципу «удвоить и прибавить 1», соответствует закону Бенфорда. То же самое касается и любой последовательности, начинающейся с произвольного числа и формирующейся по принципу «возвести в квадрат». Но, когда Тед приступил к анализу последовательности чисел, построенной по принципу «возвести в квадрат и прибавить 1», он обнаружил нечто неожиданное.
«С какого бы числа ни начиналась такая последовательность, она почти всегда подчиняется закону Бенфорда. Однако при некоторых исходных числах этого не происходит, причем найти эти числа довольно трудно. Сперва мне казалось, что их нет. Я думал: “Этого не может быть! Это просто невозможно!” Но мы все же нашли одно число, обладающее поразительным свойством: когда оно является первым членом последовательности, в которой каждый следующий член на единицу больше квадрата предыдущего, то каждое число такой последовательности начинается с цифры 9. Это просто невероятно. Это сбой в системе».
Вот это число: 9,94962308959395941218332124109326…
На самом деле для последовательности чисел, сформированной по принципу «возвести в квадрат и прибавить 1», существует бесконечное множество таких исходных чисел, но они размещены на цифровой оси настолько редко, что вероятность выбрать какое-то из них случайным образом равна нулю. По словам Теда, у закона Бенфорда масса секретов, которые еще предстоит открыть.
Закон Бенфорда — один из самых ярких примеров того, как процесс, в котором фигурирует большое количество неизвестных случайных факторов, может образовать очень простую числовую закономерность. Точная последовательность событий, приводящих к росту или падению курса акций или увеличению численности населения города, может оказаться слишком сложной для понимания, но результат этих событий хорошо упорядочен и довольно прост. Не исключено, что у нас не получится составить прогноз в отношении курса конкретных акций или численности населения определенного города, но мы можем быть уверены в одном: в целом эти показатели всегда подчиняются закону Бенфорда.
В книгах тоже часто встречаются простые числовые закономерности. Возьмем в качестве примера книгу Джеймса Джойса Ulysses («Улисс»)9. В 40-х годах ХХ столетия исследователи Висконсинского университета на протяжении четырнадцати месяцев составляли список слов, которые использовались в этой книге [6]. Они напечатали ее на гуммированной бумаге, вырезали отдельные слова и наклеили их на тысячах отдельных листков. Затем упорядочили эти слова по убыванию частоты их встречаемости в тексте. Полученные данные представляли интерес не только для студентов, изучающих лингвистику, но и для психологов, работающих с лексическими ассоциациями, а также для таких нестандартно мыслящих ученых, как профессор Гарвардского университета Джордж Кингсли Ципф, который выявил потрясающую закономерность [7].
Слово
Ранг (порядковый номер)
Частота
I («я»)
10
2653
Say («сказать»)
100
265
Bag («сумка»)
1000
26
Orangefiery («оранжево-пламенный»)
10 000
2
Оказалось, что десятое по частоте употребления слово встречается в тексте почти в десять раз чаще, чем сотое, почти в сто раз чаще, чем тысячное, и почти в тысячу раз чаще, чем десятитысячное. Джеймс Джойс не выбирал слова с такой арифметической точностью специально; тем не менее закономерность, которой подчиняется их встречаемость в его книге, очевидна.
Если говорить языком математики, частота встречаемости слов в романе «Улисс» приближенно подчиняется следующему закону:
частота × ранг = 26 500
Эту формулу можно привести к такому виду:
В общем виде данное уравнение выглядит так:
Следовательно, частотность употребления того или иного слова обратно пропорциональна его рангу (порядковому номеру) в списке, упорядоченном по убыванию частоты. Другими словами, если ранг слова в n раз больше, то частота его использования в n раз меньше.
Изучив другие тексты, Ципф пришел к выводу, что во всех книгах на всех языках частота встречаемости слов и их порядковый номер в частотном списке находятся в обратной зависимости, но с небольшим уточнением:
Это уравнение известно как закон Ципфа. (Когда два числа записаны в форме xy, мы говорим «x в степени y», и это значит, что число x умножается само на себя y раз. Как мы знаем со школьных лет, 42 = 4 × 4, а 23 = 2 × 2 × 2. Однако число y может быть не только целым числом. Следовательно, 21,5 означает, что число 2 умножается само на себя 1,5 раза, а это равно 2,83. Чем ближе значение числа y к 1, тем ближе xy к числу x.)
Ципф обнаружил, что значение константы a всегда стремится к 1 независимо от того, кто автор книги и каково ее содержание. То есть зависимость между частотой встречаемости слов и их рангом всегда очень близка к обратно пропорциональной зависимости. В случае романа «Улисс» значение a равно 1.
Я считаю закон Ципфа чрезвычайно увлекательным. Он раскрывает заманчиво простую математическую закономерность, определяющую выбор слов. Я решил выяснить, соблюдается ли этот закон в книге, которую вы сейчас читаете. Для подсчета частотности слов я воспользовался компьютерной программой, а не гуммированной бумагой и ножницами. Просматривая частотную таблицу, я увидел, что частота встречаемости слов действительно обратно пропорциональна их порядковому номеру в таблице. Самое распространенное слово, употребляемое мною в книге («the»), встречается в десять раз чаще, чем десятое по частоте слово «was», примерно в сто раз чаще, чем сотое по частоте слово «who», и в тысячу раз чаще, чем тысячное слово «spirals».
Когда я составил на основе данных о частоте и ранге слов график (первый график, представленный ниже), оказалось, что соответствующие точки лежат близко к координатным осям. График, отображающий обратно пропорциональную зависимость, всегда представляет собой L-образную кривую. Сначала кривая резко снижается, а затем быстро выравнивается и переходит в своего рода «длинный хвост». Это говорит о том, что одни слова встречаются в тексте в огромном количестве, а другие почти не используются. (На самом деле во всех текстах, независимо от их объема, около 50 процентов слов употребляются только один раз. В данной книге таких слов 51 процент [8].)
Распределение частотности слов в книге «Алекс в Зазеркалье»
На нижнем графике отображены те же данные, но изменен масштаб. Расстояние от 1 до 10, от 10 до 100 и от 100 до 1000 теперь одинаковое на обеих осях, другими словами, мы имеем двойной логарифмический масштаб. График, напоминающий провисший кабель, как по волшебству превратился в туго натянутую струну. Появился некий математический порядок: точки графика образуют почти идеальную прямую.
Прямая линия на графике, построенном в двойном логарифмическом масштабе, — доказательство того, что эти данные подчиняются закону Ципфа (в Приложении 2 я объясню почему). С математической точки зрения прямая линия более полезна, чем кривая с длинным хвостом, поскольку ее свойства легче анализировать. В частности, у прямой есть постоянный градиент. Мы вернемся к понятию градиента немного позже, а пока вам нужно знать только то, что градиент — это степень наклона: отношение расстояния, покрытого прямой по вертикали, к расстоянию по горизонтали. Если нарисовать линию наилучшего соответствия и определить ее градиент, он и будет представлять собой константу a в уравнении закона Ципфа. Я рассчитал градиент линии на расположенном выше графике. Он чуть больше единицы, а это значит, что по сравнению с Джеймсом Джойсом я чаще использую самые распространенные слова и реже — наименее распространенные.
При более близком рассмотрении не все точки на графике попадают на прямую линию. Некоторые отклоняются от нее, особенно примерно двадцать слов, встречающихся в тексте чаще всего. Однако в большинстве случаев точки находятся очень близко к этой линии. Поразительно то, что порядковый номер подавляющего количества слов в этой книге позволяет достаточно точно определить частоту их использования, и наоборот.
