представляет интереса, о чем говорится в сообщениях, о числах, человеческих именах, лотерейных билетах или графических знаках. В теории информации значимо число выборов для однозначного определения события. И важны также альтернативы, которые – на уровне источника – представляются как со-возможные. Информация – не столько то, что говорится, сколько то, что может быть сказано. Информация –
это мера возможности выбора. Сообщение, содержащее один бит информации (выбор из двух равновероятных возможностей), отличается от сообщения, содержащего три бита информации (выбор из восьми равновероятных возможностей), только тем, что во втором случае просчитывается большее число вариантов. Во втором случае информации больше, потому что исходная ситуация менее определенна. Приведем простой пример: детективный роман тем более держит читателя в напряжении и тем неожиданнее развязка, чем шире круг подозреваемых в убийстве.
Информация – это свобода выбора при построении сообщения, и, следовательно, она представляет собой статистическую характеристику источника сообщения. Иными словами, информация – это число равновероятных возможностей, ее тем больше, чем шире круг, в котором осуществляется выбор. В самом деле, если в игре задействованы не два, восемь или шестьдесят четыре варианта, а п миллиардов равновероятных событий, то выражение
I = lg2 109n
составит неизмеримо большую величину. И тот, кто, имея дело с таким источником, при получении сообщения осуществляет выбор одной из n миллиардов возможностей, получает огромное множество битов информации. Ясно, однако, что полученная информация представляет собой известное обеднение того несметного количества возможностей выбора, которым характеризовался источник до того, как выбор осуществился и сформировалось сообщение.
В теории информации, стало быть, берется в расчет равновероятность на уровне источника, и эту статистическую величину называют заимствованным из термодинамики термином энтропия [22]. И действительно, энтропия некоторой системы – это состояние равновероятности, к которому стремятся ее элементы. Иначе говоря, энтропия связывается с неупорядоченностью, если под порядком понимать совокупность вероятностей, организующихся в систему таким образом, что ее поведение делается предсказуемым. В кинетической теории газа описывается такая ситуация: предполагается, впрочем, чисто гипотетически, что между двумя заполненными газом и сообщающимися емкостями наличествует некое устройство, называемое демоном Максвелла, которое пропускает более быстрые молекулы газа и задерживает более медленные. Таким образом, в систему вводится некоторая упорядоченность, позволяющая сделать прогнозы относительно распределения температур. Однако в действительности демона Максвелла не существует, и молекулы газа, беспорядочно сталкиваясь, выравнивают скорости, создавая некую усредненную ситуацию, тяготеющую к статистической равновероятности. Так система оказывается высокоэнтропийной, а движение отдельной молекулы газа непредсказуемым.
Высокая энтропийность системы, которую представляют собой буквы на клавиатуре пишущей машинки, обеспечивает возможность получения очень большого количества информации. Пример описан Гильбо: машинописная страница вмещает 25 строк по 60 знаков в каждой, на клавиатуре 42 клавиши, и каждая из них позволяет напечатать две буквы, таким образом, с добавлением пробела, который тоже знак, общее количество возможных символов составит 85. Если, умножив 25 на 60, мы получаем 1500 позиций, то спрашивается, какое количество возможных комбинаций существует в этом случае для каждого из 85 знаков клавиатуры?
Общее число сообщений с длиной L, полученных с помощью клавиатуры, включающей С знаков, можно определить возводя L в степень С. В нашем случае это составит 85 в степени 1500 возможных сообщений. Такова ситуация равновероятности, существующая на уровне источника, и число возможных сообщений измеряется 2895-значным числом.
Но сколько операций выбора надо совершить, чтобы идентифицировать одно-единственное сообщение? Очень и очень много, и их реализация потребовала бы значительных затрат времени и энергии – как нам известно, каждое из возможных сообщений включает 1500 знаков, каждый из которых определяется путем последовательных выборов между 85 символами клавиатуры… Потенциальная возможность источника, связанная со свободой выбора, чрезвычайно высока, но передача этой информации оказывается весьма затруднительной [23].
III. 4. Здесь-то и возникает нужда в коде с его упорядочивающим действием. Но что дает нам введение кода? Ограничиваются комбинационные возможности задействованных элементов и число самих элементов. В ситуацию равновероятности источника вводится система вероятностей: одни комбинации становятся более, другие менее вероятными. Информационные возможности источника сокращаются, возможность передачи сообщений резко возрастает.
Шеннон [24] определяет информацию сообщения, включающего N операций выбора из h символов, как
I = Nlg2h
(эта формула напоминает формулу энтропии).
Итак, сообщение, полученное на базе большого количества символов, число комбинаций которых достигает астрономической величины, оказывается высокоинформативным, но вместе с тем и непередаваемым, ибо для этого необходимо слишком большое число операций выбора. Но эти операции требуют затрат, идет ли речь об электрических сигналах, механическом движении или мышлении: всякий канал обладает ограниченной пропускной способностью, позволяя осуществить лишь определенное число операций выбора. Следовательно, чтобы сделать возможной передачу информации и построить сообщение, необходимо уменьшить значения N и h. И еще легче передать сообщение, полученное на основе системы элементов, число комбинаций которых заранее ограничено. Число выборов уменьшается, но зато возможности передачи сообщений возрастают.
Упорядочивающая функция кода как раз и позволяет осуществить коммуникацию, ибо код представляет собой систему вероятностей, которая накладывается на равновероятность исходной системы, обеспечивая тем самым возможность коммуникации. В любом случае информация нуждается в упорядочении не из-за ее объема, но потому, что иначе ее передача неосуществима.
С введением кода число альтернатив такого высокоэнтропийного источника, как клавиатура пишущей машинки, заметно сокращается. И когда я, человек знакомый с кодом итальянского языка, за нее сажусь, энтропия источника уменьшается, иными словами, речь идет уже не о 85 в степени 1500 сообщениях на одной машинописной странице, обеспечиваемых возможностями клавиатуры, но о значительно меньшем их числе в соответствии с вероятностью, отвечающей определенному набору ожиданий, и, стало быть, более предсказуемом. И даже если число возможных сообщений на страничке машинописного текста неизменно велико, все равно введенная кодом система вероятностей делает невозможным присутствие в моем сообщении таких последовательностей знаков, как «wxwxxsdewvxvxc», невозможных в итальянском языке за исключением особых случаев металингвистических описаний, подобных только что приведенным. Эта система не разрешает ставить «q» после «ass», зато позволяет предсказать с известной долей уверенности, что вслед за «ass» появится одна из пяти гласных: «asse», «assimilare» и т. д. Наличие кода, предусматривающего возможность разнообразных комбинаций, существенно ограничивает число возможных выборов.
Итак, в заключение дадим определение кода как системы, устанавливающей 1) репертуар противопоставленных друг другу символов; 2) правила их сочетания; $) окказионально взаимооднозначное соответствие каждого символа какому-то одному означаемому. При этом возможно выполнение лишь одного или двух из указанных условий [25].
IV. 1. Все сказанное позволяет вернуться к нашей первоначальной модели.
В упоминавшемся водохранилище могут происходить самые разнообразные процессы. Уровень воды
