Анатолий Фоменко - Методы статистического анализа исторических текстов (часть 1)

Принцип корреляции максимумов был также успешно применен к анализу некоторых русских летописей периода «смуты» конца XVI — начала XVII веков н. э. См. на эту тему работы Л.Е. Морозовой и А.Т. Фоменко [399], [402]. В этом исследовании большое участие принимал также Н.С. Келлин. См. ниже раздел, написанный Н.С. Келлиным, Л.Е. Морозовой и А.Т. Фоменко.

Здесь мы опишем результаты, опубликованные авторами в [410], [424]. Как и выше, назовем две исторические летописи X и Y ЗАВИСИМЫМИ, если они восходят к общему первоисточнику, описывают приблизительно одни и те же события на одном и том же отрезке времени (A,B) в истории одного и того же региона.

Напротив, две летописи будем считать НЕЗАВИСИМЫМИ, если они описывают события на существенно разных отрезках времени (A,B) и (C,D), или же описывают события в заведомо разных географических регионах. Два отрезка времени мы будем считать СУЩЕСТВЕННО РАЗЛИЧНЫМИ, если на оси времени они пересекаются (то есть имеют общую часть) не более чем на половину их длины. В дальнейшем, для простоты, будем считать, что сравниваются летописи, описывающие отрезки времени одинаковой длины, то есть B-A = D-C.

Пусть летопись X описывает события на отрезке времени (A,B) и параметр t пробегает годы от года A до года B. Как и выше, через X(t) мы обозначим часть летописи, описывающую события, происшедшие в год t. Для краткости, назовем фрагменты X(t) — ГЛАВАМИ. Подсчитаем объем каждого такого фрагмента в каких-либо единицах, например, в строках, или в страницах. В перечисляемых ниже примерах объем глав подсчитывался в строках. Впрочем, выбор единицы измерения здесь несущественен. При статистической обработке мы нормировали объемы глав, деля их на полный объем всей летописи. Таким образом, возможная разница в выборе единиц измерения объема нивелируется. Итак, мы получаем функцию vol X(t), которую называем ФУНКЦИЕЙ ОБЪЕМОВ летописи.

Принцип корреляции точек локальных максимумов графиков объема был сформулирован и экспериментально проверен в [375]. Главная идея, положенная в основу принципа, и вытекающих из него методик, такова: зависимость или независимость хроник в некоторых случаях можно устанавливать, сравнивая их функции объемов. Огрубляя, можно сказать, что ТОЧКИ ЛОКАЛЬНЫХ МАКСИМУМОВ ГРАФИКОВ ОБЪЕМОВ ЗАВИСИМЫХ ЛЕТОПИСЕЙ ДОЛЖНЫ «КОРРЕЛИРОВАТЬ» (в подходящем точном смысле, см. выше), А ДЛЯ НЕЗАВИСИМЫХ ЛЕТОПИСЕЙ «КОРРЕЛЯЦИИ» БЫТЬ НЕ ДОЛЖНО. См. рис. 3.1.

В работе [400] общая идея корреляции функции объемов зависимых летописей, и отсутствие корреляции для независимых летописей, была для некоторых случаев распространена В.В. Калашниковым, С.Т. Рачевым и А.Т. Фоменко НА САМИ ФУНКЦИИ ОБЪЕМА, то есть с учетом их АМПЛИТУД. Поскольку здесь в исследование вовлекались амплитуды графиков, то необходимо было проверить эту усиленную форму принципа корреляции на конкретных летописях, что и было сделано в [400] с участием Н.Я. Ривеса. Предложенные в [400] методы обнаружения зависимых и независимых летописей оказались достаточно эффективными при сравнении хроник примерно ОДИНАКОВОГО ОБЪЕМА. Однако картина начинала «смазываться» при сравнении летописей существенно РАЗНЫХ ОБЪЕМОВ. В настоящей работе выделяется новый класс летописей, для которых верна усиленная форма принципа корреляции.

Принцип корреляции максимумов опирался на то обстоятельство, что разные летописцы, рассказывавшие об одной и той же исторической эпохе, использовали, в основном, ОДИН И ТОТ ЖЕ объем, фонд уцелевшей информации, то есть сохранившейся до их времени. Поэтому они, как показали наши статистические эксперименты, подробнее описывали те годы, от которых сохранилось много текстов, и менее подробно — остальные.

Напомним понятие первичного объема информации о событиях эпохи (А,В). Пусть С(t) — объем всех документов, написанных современниками года t о событиях этого года. См. рис. 3.2. Пусть теперь X и Y летописцы, уже не являющиеся современниками эпохи (А,В), но желающие написать ее историю. Пусть M (соответственно N) — год, в который летописец X (соответственно Y) создает хронику эпохи (А,В).

Напомним, что СM(t) — это объем тех документов, которые уцелели от эпохи (А,В) до момента M, то есть до эпохи летописца X. Другими словами, это остаток первичных текстов, дошедших до времени M. График CM(t) — это график объема уцелевшей информации о событиях эпохи (А,В). Аналогично определяется CN(t).

Принцип корреляции максимумов вытекает из следующего принципа. Каждый летописец X, описывая эпоху (А,В), «в среднем» более подробно говорит о годах, где график СM(t) делает всплески, то есть чем больше документов дошло до летописца X от эпохи (А,В), тем подробнее он говорит об этом времени. См. рис. 3.3.

Определение бедной или богатой летописи интуитивно ясно из рис. 3.16. БЕДНОЙ мы назовем летопись, у которой «большинство» объемов vol X(t) — нулевые, то есть большинство лет вообще не описано летописцем. БОГАТОЙ назовем хронику, у которой, напротив, «большинство» объемов vol X(t) отлично от нуля и достаточно велико, то есть летописец сообщает много сведений об эпохе (А,В).

Конечно, в реальных примерах иногда трудно отнести ту или иную летопись к разряду бедных или богатых. Поэтому полезно ввести новые понятия БЕДНОЙ ЗОНЫ и БОГАТОЙ ЗОНЫ данной летописи. На рис. 3.17 условно изображен график объема летописи, где начальная ее часть — БЕДНАЯ, а последняя — БОГАТАЯ. Наш опыт изучения конкретных летописей показывает, что следующая ситуация типична: НАЧАЛЬНАЯ ЧАСТЬ длинной летописи — это БЕДНАЯ ЗОНА, а ее заключительная часть — БОГАТАЯ ЗОНА. Встречаются, конечно, летописи, у которых бедная зона расположена «в середине». См. рис. 3.18.

При изучении конкретной летописи мы будем в качестве самой левой точки А на оси времени брать год, для которого vol X(A) отличен от нуля, то есть этот год ОПИСАН летописцем. Нуль графика объема назовем ЗНАЧАЩИМ, если он расположен ПРАВЕЕ первого ненулевого значения графика. См. рис. 3.19. Если же нуль расположен ЛЕВЕЕ первого ненулевого значения графика, то назовем такой нуль НЕЗНАЧАЩИМ. Незначащий нуль показывает, что летописец ничего не знает не только о данном годе, но и обо всех годах, ему предшествующих. А значащий нуль показывает, что хотя хронист ничего не знает о данном годе, он все-таки кое-что знает о некоторых ПРЕДЫДУЩИХ годах.

Рассмотрим какую-либо историческую эпоху (А,В) и летописца X, живущего в году M, где M много больше чем В. См. рис. 3.20. Описывая события эпохи (A,B), летописец X вынужден опираться на фонд СM(t) уцелевшей информации, то есть сохранившейся до его времени. Наша мысль состоит в следующем: летописец по-разному относится к бедной и к богатой зонам фонда уцелевшей информации.

Модель, ПРИНЦИП УВАЖЕНИЯ К ИНФОРМАЦИИ мы сформулируем так.

УВАЖЕНИЕ ЛЕТОПИСЦА К УЦЕЛЕВШЕЙ ИНФОРМАЦИИ ОБРАТНО ПРОПОРЦИОНАЛЬНО ЕЕ ОБЪЕМУ.

Интуитивное обоснование этого принципа понятно. Если какая-то информация сохранилась на «нулевом окружающем фоне», то есть когда справа и слева от нее расположены годы, о которых летописцу вообще ничего неизвестно, то летописец вынужден ВЫСОКО ЦЕНИТЬ эти редкие, чудом дошедшие до него сведения. И он копирует ее довольно добросовестно, даже независимо от своего личного отношения к ее содержанию. Кроме того, в БЕДНОЙ ЗОНЕ фонда уцелевшей информации летописцу в общем-то «не из чего выбирать». Возможный произвол в его действиях ограничен здесь весьма малым объемом уцелевших сведений. Следовательно, летописец в среднем добросовестно воспроизводит АМПЛИТУДЫ функции объема СM(t) уцелевшей информации внутри бедных ее зон.

Внутри БОГАТЫХ ЗОН ситуация меняется. Здесь летописец сталкивается с необходимостью ОТБОРА нужной ему информации из большого, и даже избыточного, резервуара сведений. Но чем больше объем уцелевшей информации, тем меньше летописец ценит отдельные ее фрагменты. Что часто приводит, как показали наши статистические эксперименты, к искажению амплитуд графиков объема уцелевшего фонда внутри богатых зон. Здесь хронист может также дать волю своим личным пристрастиям — отбирать одни сведения и намеренно «не замечать» другие.

Извлечем следствия из принципа уважения к информации.