Более подробно законы Зипфа и их применение рассмотрены в следующих разделах. Методы использующие законы Зипфа легли в основу автоматических методов построения ссылочных индексов на серверах. В поисковом сервере этого типа обычно используется программа просмотра и индексирования документов, называемая поисковым роботом , а так же информационная база ссылочных данных с определенной поисковой стратегией и интерфейс, призванный обеспечить максимальные удобства пользователю в процессе работы с этой базой данных. Большинство серверов (AltaVista, Lycos, Excite, WebCrawler и др.), в которых используют базы ссылок объемом в десятки миллионов документов, применяют именно автоматические индексы.
При поиске информации на серверах такого типа количество найденных ссылок обычно настолько велико, что пользователь не в состоянии справиться с возникшей ситуацией самостоятельно или же вынужден затратить большое количество времени на загрузку каждого документа, его просмотр и возврат к странице ссылок. Более рациональной представляется организация автоматического извлечения, классификации и локального сохранения всех найденных работ с тем, чтобы в дальнейшем пользователь работал не в сети Интернет, а с локальной базой данных (уже предварительно классифицированных), что позволит сделать его работу более осмысленной и эффективной. Естественно, такой подход уменьшит и суммарные затраты средств, связанные с доступом к сети.
Метаинформация уже используется в HTML-документах, хотя далеко не все поисковые серверы в сети Интернет поддерживают ее использование. Расширяется применение ключевых или значимых слов. В частности, на большинстве международных конференций и симпозиумов используются специальные базы данных для хранения материалов докладов. Любой доклад можно искать, используя атрибуты. Другим средством поиска являются ключевые или значимые слова и выражения. Автор при занесении его доклада в базу данных из общего списка ключевых слов отбирает те, которые наиболее тесно связаны с содержанием его доклада. В результате можно успешно искать нужные материалы и по ключевым словам, включая логические выражения на их основе. Вероятно, следует организовать нечто похожее по отдельным тематическим разделам для информации, циркулирующей в сети Интернет. Это позволило бы резко повысить эффективность поисковых систем [12].
Надо отметить, что автором еще в 1996 г. была разработана модель реляционной базы данных описанного типа. В ней был возможен как обычный атрибутивный поиск (в соответствии со списком полей, в которых хранились значения атрибутов изданий), так и поиск на основе логических выражений, использующих ключевые слова. Причем, для организации поиска по ключевым словам пользователь выбирал нужные слова из их общего списка и объединял их с помощью логических операторов, для чего был предусмотрен специальный пользовательский интерфейс. Краткое описание параметров и методики проектирования этой БД представлено в разд. 7.3.2.
8.2. Законы Зипфа и их применение
Для того чтобы поиск документов в сети был достаточно эффективен, следует правильно выбрать набор термов или базовых слов и выражений. Обычно рекомендуется извлекать такие выражения из тех работ, которые в полной степени удовлетворяют поставленной задаче. Например, вы случайно столкнулись с интересной работой (или несколькими близкими по тематике работами) и хотите извлечь из сети другие публикации данного направления. Для достижения поставленной цели надо выделить из этой работы (или этих работ) набор терминов , в наибольшей степени отражающий ее смысл, т. е. наиболее значимые слова и выражения. Такая задача может быть решена и даже алгоритмизирована на основе законов Зипфа .
Известный математик Дж. Зипф (G.K. Zipf) показал, что все созданные человеком тексты подчиняются некоторым общим закономерностям. Он сформулировал в 1946—1949 годах три таких закона. Рассмотрим формулировки и смысл этих законов. Если взять любой текст, то можно подсчитать, какие слова применяются в нем и сколько раз они встречаются. Количество повторов слова в тексте можно назвать частотой этого слова. Чаще всего встречающемуся слову можно приписать ранг 1, следующему по частоте – ранг 2 и т. д. Если несколько разных слов имеют одинаковые частоты, то учитывается только одно из них. Если разделить частоту повторения слова f на общее количество значащих слов в тексте S, то получим относительную частоту или вероятность встречи этого слова в тексте.
Первый закон Зипфа гласит, что произведение частоты или вероятности встречи слова в тексте на его ранг приблизительно постоянно для любых текстов определенного языка. Сказанное иллюстрируется рис. 8.2, где представлена связь частоты слова в тексте f и его ранга R. Кривая на рис. 8.2 близка к гиперболе вида
f = Const / R,
где Const – некоторая константа.
Рис. 8.2. Кривая зависимости частоты, с которой слово встречается в тексте, от его ранга
Следовательно, по первому закону Зипфа, если самое распространенное слово встречается в тексте, например, 100 раз, то следующее по частоте слово вряд ли встретится 99 раз. Частота вхождения второго по популярности слова, с высокой долей вероятности, окажется на уровне 50. (Разумеется, нужно понимать, что в статистике ничего абсолютно точного нет: 50 или 52 – не так уж и важно.) Значение константы в разных языках отличается, но внутри одной языковой группы это значение остается неизменным, для любого текста. Так, например, для английских текстов константа Зипфа равна приблизительно 1470. Для русского языка эта константа близка к 960. Обсуждая первый закон, мы умышленно отказались от рассмотрения того факта, что различные слова могут входить в текст с одинаковой частотой. Дж. Зипф установил, что частота и количество слов, входящих в текст с этой частотой, также связаны между собой определенной зависимостью. Если построить график, отложив по оси абсцисс частоту вхождения слова, а по оси ординат – количество слов, характеризуемых данной частотой, то получившаяся кривая будет сохранять свои параметры для всех без исключения созданных человеком текстов в пределах одного языка. Однако и межъязыковые различия невелики. На каком бы языке текст ни был написан, форма этой кривой Зипфа останется неизменной. Могут незначительно отличаться лишь коэффициенты, отвечающие за наклон кривой (рис. 8.3). Если график построен в полулогарифмическом масштабе, то он состоит из двух отрезков прямых линий с небольшим криволинейным участком между ними. Сказанное иллюстрируется данными рис. 8.3, на котором показаны кривые для французского (кривая 1), английского (кривая 2) и русского (кривая 3) языков.
Рис. 8.3. Зависимость между частотой, с которой слово встречается в тексте, и количеством различных слов, имеющих такую частоту для французского (кривая 1), английского (2) и русского (3) языков
Полученные Дж. Зипфом результаты могут успешно использоваться на практике для выделения значащих слов в тексте. Все значащие слова для любого текста размещаются в области средних значений ранга и частоты (выделенная область, см. рис. 8.2). Действительно, самые часто встречающиеся слова, ранг которых изменяется от 1 до 4—5, обычно относятся к разряду вспомогательных, а самые редкие – обычно также не имеют решающего смыслового значения для данного текста. От того, как будет задан диапазон значимых слов, зависит многое. Если сделать его слишком широким – нужные термины потонут в море вспомогательных слов. Установив же чрезмерно узкий диапазон, мы рискуем потерять некоторые смысловые термины.
Интересно отметить, что законы Зипфа весьма универсальны. Они применимы не только к текстам, но и ко многим другим статистическим закономерностям, определяемым деятельностью человека. В аналогичную форму выливается, например, зависимость количества городов от числа проживающих в них жителей. Характеристики популярности узлов в сети Интернет – также соответствуют законам Зипфа.
До сих пор рассматривались отдельно взятые документы. Однако каждый такой документ является частью совокупности изданий. Эта совокупность, в частности, может быть реализована в виде базы изданий или документов. Всю эту базу или ее часть, включающую документы одной и той же тематики или направления, можно представить в виде одного, очень большого документа. К этому составному документу также применимы законы Зипфа. Использование понятия "составной документ" позволяет повысить качество выборки значащих слов (или их рейтинг) путем введения нового понятия инверсная частота термина, которая характеризует вес или значимость этого термина. Этот параметр позволяет снизить опасность попадания малозначащих терминов в состав выборки. Инверсная частота i определяется как логарифм отношения общего количества рассматриваемых документов n к числу документов, содержащих данный термин m (под термином может пониматься не только отдельное слово, но и единое по смыслу словосочетание), т. е.
