MyBooks.club
Все категории

Анатолий Фоменко - Методы статистического анализа исторических текстов (часть 2)

На сайте mybooks.club вы можете бесплатно читать книги онлайн без регистрации, включая Анатолий Фоменко - Методы статистического анализа исторических текстов (часть 2). Жанр: История издательство -,. Доступна полная версия книги с кратким содержанием для предварительного ознакомления, аннотацией (предисловием), рецензиями от других читателей и их экспертным мнением.
Кроме того, на сайте mybooks.club вы найдете множество новинок, которые стоит прочитать.

Название:
Методы статистического анализа исторических текстов (часть 2)
Издательство:
-
ISBN:
-
Год:
-
Дата добавления:
28 январь 2019
Количество просмотров:
105
Читать онлайн
Анатолий Фоменко - Методы статистического анализа исторических текстов (часть 2)

Анатолий Фоменко - Методы статистического анализа исторических текстов (часть 2) краткое содержание

Анатолий Фоменко - Методы статистического анализа исторических текстов (часть 2) - описание и краткое содержание, автор Анатолий Фоменко, читайте бесплатно онлайн на сайте электронной библиотеки mybooks.club
Книга посвящена новому направлению в современной прикладной статистике. Предлагаются эмпирико-статистические методы распознавания зависимых и независимых текстов, в том числе исторических, т. е. текстов повествовательного характера, например хроник, летописей Эти методы позволяют во многих случаях датировать древние тексты, описанные в них события и могут применяться для анализа текстов самой разной природы, в теории распознавания образов, при анализе генетических кодов, для уточнения дат древней хронологии. Представлен богатый научный материал — результаты статистической обработки хроник, древних астрономических сообщений, летописей. Книга стала уникальным явлением в мировой научной литературе по прикладной статистике.Для специалистов в области математической статистики и распознавания образов, лингвистики, филологии, хронологии, истории, а также широкого круга читателей.

Методы статистического анализа исторических текстов (часть 2) читать онлайн бесплатно

Методы статистического анализа исторических текстов (часть 2) - читать книгу онлайн бесплатно, автор Анатолий Фоменко

На этом основании назовем параметр 3 — АВТОРСКИМ ИНВАРИАНТОМ.

Он может служить для атрибуции неизвестных произведений и для обнаружения плагиата, хотя и с определенной осторожностью, поскольку мы обнаружили писателей с очень близкими авторскими инвариантами, например, Фонвизин Д.И. и Толстой Л.Н. (см. ниже). Кроме того, для достаточно уверенных выводов нужны тексты большого объема.

Главным выводом здесь является нетривиальное утверждение о существовании авторского инварианта русских литературных текстов. Было бы интересно продолжить эксперименты с целью обнаружения других авторских инвариантов.

Подчеркнем, что подобные выводы можно делать только после проведения обширного вычислительного эксперимента. Лишь после того, как будет экспериментально доказано, что тот или иной параметр действительно стабилизируется внутри произведений каждого писателя, можно считать, что мы обнаружили инвариант. Причем обработанный список авторов должен быть достаточно велик по крайней мере несколько десятков. Строить же какие либо теории лишь на основе сравнения текстов одного или двух писателей — по нашему мнению необоснованно.

Интересно, что обнаруженный нами авторский инвариант практически не зависит от временной эпохи: в указанном списке авторов представлены писатели трех веков — от XVIII до XX.


9. Численные примеры

Поскольку, как выяснилось, основной интерес представляют графики для выборок в 16000 слов, то ограничимся именно этим случаем.

Для произведений И.С. Тургенева и Л.Н. Толстого приведем таблицу значений следующих параметров:

3 — количество всех служебных слов (в процентах),

1 — количество слов в предложении,

2 — количество слогов в слове,

9 — количество служебных слов в предложении,

7 — количество предлога «в» (в процентах),

8 — количество частицы «не» (в процентах).

параметры: | 3 | 1 | 2 | 9 | 7 | 8

ТУРГЕНЕВ 22,01 11,26 2,17 2,44 2,36 2,19 / 22,36 15,58 2,16 3,49 2.05 1,87 / 22,38 13,35 2,21 3,04 / среднее знач. 22,24 13,40 2,17 2,98 2,20 2,04 отклонение 0,016 0,322 0,023 0,35 0,14 0,16

параметры: | 3 | 1 | 2 | 9 | 7 | 8

ТОЛСТОЙ 23,67 13,13 2,11 3,09 2,10 2.05 / 23,34 20,75 2,15 4,79 2,56 1,72 / 23,45 14,27 2,28 3,35 2,38 1,67 / 23,58 18,93 2,16 4,62 2,46 1,87 / 23,78 14,86 2,15 3,64 2,74 1,88 / 23,35 16,33 2,19 3,80 2,71 1,93 / 23,77 14,23 2,11 3,47 2,15 2,17 / 23,82 15,24 2,11 5,75 2,19 2,07 / 23,77 14,97 2,20 3,42 2,49 1,75 / среднее знач. 23,62 15,95 2,16 3,81 2,36 1,92 / отклонение 0,020 0,477 0,08 0,45 0,27 0,26.


Отчетливо видно, что наименьшими отклонениями обладают параметры 3 и 2, а именно — 0,016 и 0,023 для Тургенева и 0,020 и 0,08 для Толстого. Но параметр 2 не может служить авторским инвариантом, так как его значения для подавляющего большинства разных авторов из нашего списка чрезвычайно близки. Например, 2,17 для Тургенева и 2,16 для Толстого. Поэтому с точки зрения параметра 2 все писатели «сливаются в одного», что не позволяет их различать.

Параметр 3 — частота служебных слов — оказывается не только инвариантом, но и различает достаточное число авторов. Например, для Тургенева он равен 22,24, а для Толстого 23,62. Разность равна 1,38, что превышает колебания этого параметра внутри произведений Тургенева и Толстого.

Для изученных нами писателей параметр 3 может принимать значения от 19,4 процентов до 27,5 процентов, т. е. диапазон его значений достаточно велик по сравнению с колебаниями параметра внутри текстов отдельных авторов.

Приведем теперь таблицу значений параметров 3,7 и 8 для Гоголя, Герцена, Достоевского, Леонова и Фадеева.

параметры: | 3 | 7 | 8 / параметры: | 3 | 7 | 8

ГОГОЛЬ 23,82 2,25 2,10 / 23,54 2,29 1,86 / 23,61 2,61 1,82 / 23,62 2,75 1,90

ГЕРЦЕН 22,42 2,87 2,03 / 22,87 3,10 2,04 / 22,98 2,64 1,92 / 23,85 2,10 2,50

сред. знач. 23,65 2,45 1,95 / сред. знач. 22,71 2,91 2,01

отклонение 0,013 0,027 0,35 / отклонение 0,024 0,16 0,06


параметры: | 3 | 7 | 8 / параметры: | 3 | 7 | 8

ДОСТОЕВСКИЙ 25,43 2,48 2,21 / 25,26 2,23 1,70

ЛЕОНОВ 23,11 2,97 1,81 / 23,04 2,58 2,00

ФАДЕЕВ 23,40 2,54 1,78 / 25,29 2,13 2,14

сред. знач. 25,32 2,38 2,02

сред. знач. 23,06 2,83 1,90

сред. знач. 23,40 2,62 1,89

отклонение 0,007 0,15 0,25

отклонение 0,003 0,14 0,10

отклонение 0,002 0,07 0,11


Приведем таблицу значений параметров 3,1,2,9 для Гончарова и Лескова.

параметры: | 3 | 1 | 2 | 9

ГОНЧАРОВ 25,13 11,67 2,09 2,92 / 24,88 13,16 2,03 3,31 / 25,83 18,11 2,16 4,69

ЛЕСКОВ 26,08 15,65 2,05 3,99 / 24,98 13,72 2,06 3,68 / 25,47 15,05 2,10 3,58

сред. значение 25,06 13,41 2,06 3,37

сред. значение 26,01 16,58 2,11 4,28

отклонение 0,019 0,25 0,03 0,26

отклонение 0,010 0,16 0,05 0,163


Высокой стабильностью характеризуются значения параметра 3 для А.М. Горького: 22,02, 22,21, 22,20, 22,17 и т. д. Среднее значение 22,15, а отклонение 0,009.

Кстати, значения всех перечисленных параметров вычислялись с точностью до ТРЕХ десятичных знаков. В таблицах значения округлены до двух десятичных знаков. Три знака оставлены только для отклонений параметра 3 от среднего значения.

Поскольку параметр 3 — процентное содержание всех служебных слов — выделяется среди остальных параметров своей поразительной СТАБИЛЬНОСТЬЮ И РАЗЛИЧАЮЩЕЙ СПОСОБНОСТЬЮ, то интересно специально проследить за его колебаниями в зависимости от объема выборки. Приведем таблицу, показывающую зависимость величины отклонения от среднего значения при разных выборках.


Писатели / Процент служебных слов / Величина отклонения этого параметра от его среднего значения при следующих объемах выборок:

2000 / 4000 / 8000 / 16000

ЧУЛКОВ…………..22,15……0,064….0,004……-……..

НОВИКОВ………….23,57……0,136….0,019……-……..

ФОНВИЗИН…………23,62……0,069….0,013….0,001……

РАДИЩЕВ………….22,30……0,054….0,018……-……..

КАРАМЗИН…………19,44……0,051….0,014….0,003……

КРЫЛОВ…………..23,67……0,040….0,013……-……..

ГОГОЛЬ…………..23,65……0,169….0,066….0,019….0,013

ГЕРЦЕН…………..22,71……0,165….0,109….0,025….0,024

ГОНЧАРОВ…………25,06……0,229….0,116….0,046….0,019

ТУРГЕНЕВ…………22,24……0,126….0,069….0,040….0,016

МЕЛЬНИКОВ-ПЕЧЕРСКИЙ.24,49……0,240….0,062….0,005……

ДОСТОЕВСКИЙ………25,32……0,203….0,098….0,030….0,007

САЛТЫКОВ-ЩЕДРИН…..24,56……0,173….0,042….0,016……

ЛЕСКОВ…………..26,01……0,132….0,057….0,017….0,010

ТОЛСТОЙ Л.Н…….23,62……0,199….0,103….0,036….0,020

ГОРЬКИЙ………….22,15……0,201….0,109….0,020….0,009

БУНИН……………24,64……0,143….0,027….0,013……

НОВИКОВ-ПРИБОЙ……21,10……0,129….0,090….0,049……

ФЕДИН……………21,20……0,151….0,064….0,028….0,019

ЛЕОНОВ…………..23,08……0,147….0,049….0,014….0,003

ШИШКОВ…………..20,60……0,152….0,115….0,019……

ФАДЕЕВ…………..23,40……0,184….0,111….0,018….0,002


Как видно из таблицы, стабилизация параметра 3 иногда наступает на объемах выборок, меньших чем 16000. Особенно это относится к писателям XVIII века. Например, для Карамзина стабилизация авторского инварианта наступает при объеме в 8000 слов, для Фонвизина — также 8000 слов. Вероятно, это указывает на несколько большую устойчивость стиля писателей XVIII века по сравнению с их коллегами в XIX и XX веках.

Подмеченное нами обстоятельство — ранняя стабилизация показывает, что в некоторых случаях авторским инвариантом (процент служебных слов) можно пользоваться и при изучении текстов небольших объемов. Однако при широких исследованиях необходимо все-таки пользоваться выборками в 16000 слов, поскольку только для них стабилизация параметра 3 наступает ОДНОВРЕМЕННО для всех исследованных авторов.

После обнаружения авторского инварианта для перечисленных 22 писателей, рамки эксперимента были расширены и аналогичные подсчеты были проведены еще для пяти авторов: А.Н. ОСТРОВСКОГО, А.К. ТОЛСТОГО, В.А. ЖУКОВСКОГО, А.С. ПУШКИНА и А.П. ЧЕХОВА. Были отобраны ПРОЗАИЧЕСКИЕ тексты БОЛЬШОГО объема. Расширенный эксперимент полностью подтвердил высокую стабильность параметра 3 при выборках в 16000 слов и его способность различать разные группы авторов. Таким образом, полный список писателей, для которых параметр 3 оказался устойчивым и различающим авторским инвариантом, расширился с 22 до 27.


10. Как можно применять обнаруженный авторский инвариант?

Возможное обнаружение плагиата

Одно из возможных применений обнаруженного авторского инварианта — это распознавания плагиата, установления возможного авторства и т. п. Можно предложить следующую естественную методику. Если для двух исследуемых произведений значения параметра 3 (процент служебных слов) разнятся больше, чем на единицу, то есть основания заподозрить различное авторство сравниваемых текстов. Чем больше разница в значениях инварианта, тем подозрение серьезнее.

С другой стороны (как и в проблеме установления отцовства) близкие значения инварианта отнюдь не означают, что исследуемые произведения написаны одним автором. Как мы отмечали, встречаются разные писатели с близкими значениями инварианта. Например, Леонов и Фадеев, у которых эти числа равны соответственно 23,08 и 23,40.

Кроме того, применять методику распознавания авторов к текстам МАЛОГО объема следует чрезвычайно осторожно. Возникающие здесь трудности можно проиллюстрировать на примере крупных и мелких произведений А.П. Чехова. Параметр 3 (процент служебных слов) был просчитан вдоль всех его произведений в собрании сочинений 1960–1964 гг., Москва. Оказалось, что параметр 3 ведет себя следующим образом:


Анатолий Фоменко читать все книги автора по порядку

Анатолий Фоменко - все книги автора в одном месте читать по порядку полные версии на сайте онлайн библиотеки mybooks.club.


Методы статистического анализа исторических текстов (часть 2) отзывы

Отзывы читателей о книге Методы статистического анализа исторических текстов (часть 2), автор: Анатолий Фоменко. Читайте комментарии и мнения людей о произведении.

Прокомментировать
Подтвердите что вы не робот:*
Подтвердите что вы не робот:*
Все материалы на сайте размещаются его пользователями.
Администратор сайта не несёт ответственности за действия пользователей сайта..
Вы можете направить вашу жалобу на почту librarybook.ru@gmail.com или заполнить форму обратной связи.