Они наблюдаемы, осязаемы и измеряемы. В то время как мы часто используем это слово, "информация" на самом деле является довольно расплывчатым и неуловимым понятием. Точное определение этого слова не так-то просто в голову большинству людей; к сожалению, оно относится к лагерю "узнаешь, когда увидишь". Не имея возможности взвесить информацию так же, как мы взвешиваем жидкости или газы, какие надежды могут быть у ученых на количественное понимание главной цели мозга?
Однако в период между выходом книги Адриана и докладом Перкела и Баллока было найдено количественное определение информации. Оно родилось в ходе научной борьбы во время Второй мировой войны и в дальнейшем неожиданно изменило мир. Его применение в изучении мозга порой было столь же трудновыполнимым, сколь и очевидным.
* * *
Клод Шеннон начал работать в Bell Labs по контракту, предоставленному американскими военными. Шел 1941 год, и Национальному комитету оборонных исследований требовались ученые, работающие над технологиями военного времени. Серьезность работы не заглушала игривых наклонностей Шеннона. Ему нравилось жонглировать, и во время работы в Bell Labs было известно, что он жонглирует по кампусу, катаясь на одноколесном велосипеде.
Шеннон родился в небольшом городке на американском Среднем Западе и рос, следуя за своим любопытством к науке, математике и инженерии, куда бы оно его ни привело. В детстве он играл с радиодеталями и любил решать числовые головоломки. Став взрослым, он создал математическую теорию жонглирования и фрисби, работающее на пламени. Ему нравилось играть в шахматы и строить машины, которые могли бы играть в шахматы. Постоянно занимаясь мастерингом, он создал множество гаджетов, некоторые из которых были более продуктивными, чем другие. Например на своем рабочем столе в Bell Labs,, он держал "Ultimate Machine": коробку с выключателем, который, если его включить, заставлял механическую руку протягиваться и выключать его.1
Для получения степени магистра Шеннон написал 72-страничную диссертацию под названием "Символический анализ релейных и коммутационных схем", которая произвела революцию в электротехнике. Для получения степени доктора философии он обратил свой математический взор к биологии, работая над "Алгеброй для теоретической генетики". Но его темой в Bell Labs была криптография. Как надежно закодировать сообщения, которые будут передаваться по земле, воздуху и воде, - естественная тема для военных. Bell Labs была центром исследований в области криптографии и даже принимала у себя знаменитого взломщика кодов Алана Тьюринга во время работы Шеннона.
Вся эта работа над кодами и сообщениями заставила Шеннона задуматься о концепции коммуникации в широком смысле. Во время войны он предложил метод математического понимания передачи сообщений. Однако из-за необходимой секретности исследований в области криптографии его идеи были засекречены. В 1948 году Шеннон наконец смог опубликовать свою работу, и "Математическая теория коммуникации" стала основополагающим документом новой области - теории информации.
В работе Шеннона описывается очень общая система связи, состоящая из пяти простых частей. Первая - это источник информации, который производит сообщение, которое будет отправлено. Далее следует передатчик, который отвечает за кодирование сообщения в форму, которая может быть передана по третьему компоненту каналу. На другом конце канала приемник декодирует информацию в исходную форму, и она отправляется в конечный пункт назначения (Рисунок 16).
В этой системе носитель сообщения не имеет значения. Это могут быть песни на радиоволнах, слова на телеграфе или изображения через Интернет. Как говорит Шеннон, компоненты его модели передачи информации "в достаточной степени идеализированы по сравнению с их физическими аналогами". Это возможно потому, что во всех этих случаях фундаментальная проблема коммуникации остается неизменной. Это проблема "точного или приблизительного воспроизведения в одной точке сообщения, выбранного в другой точке".
Рисунок 16
Имея в виду эту простую систему связи, Шеннон стремился формализовать изучение передачи информации. Но чтобы математически подойти к вопросу о том, как передается информация, ему сначала нужно было дать математическое определение информации. Опираясь на предыдущие работы, Шеннон обсуждает, какими желательными свойствами должна обладать мера информации. Некоторые из них имеют практическое значение: например, информация не должна быть отрицательной, а ее определение должно быть легко поддаваться математической обработке. Но реальное ограничение возникло из-за необходимости отразить интуицию, связанную с информацией: ее зависимость от кода.
Представьте себе школу, где все ученики носят униформу. Видя, как ученик каждый день появляется в одном и том же наряде, можно получить очень мало информации о его настроении, характере или погоде. С другой стороны, в школе, где нет униформы, выбор одежды способен передать всю эту информацию и даже больше. Например, если кто-то интересуется текущей температурой воздуха, то, увидев ученика в сарафане, а не в свитере, он может надолго развеять это любопытство. Таким образом, одежду можно использовать как код - это передаваемый набор символов, который передает смысл.
Причина, по которой студенты в униформе не могут нести эту информацию, заключается в том, что код требует вариантов. В словаре кода должно быть несколько символов (в данном случае - несколько нарядов в гардеробе студента), каждый из которых имеет свое собственное значение, чтобы любой из символов имел смысл.
Но важно не только количество символов в коде, но и то, как они используются. Допустим, у студента есть два варианта одежды: джинсы и футболка или костюм. Если студент в 99 процентах случаев носит джинсы и футболку, то из этого выбора гардероба можно извлечь не так уж много информации. Вам даже не нужно видеть студента, чтобы быть почти уверенным в том, что он одет - это, по сути, униформа. Но один день из ста, когда они появляются в костюме, говорит вам о чем-то важном. Он дает вам понять, что этот день какой-то особенный. Это говорит о том, что чем реже используется символ, тем больше информации он содержит. Обычные символы, с другой стороны, не могут передать много информации.
Шеннон хотел отразить эту связь между использованием символа и его информационным содержанием. Поэтому он определил информативность символа в терминах вероятности его появления. В частности, чтобы количество информации уменьшалось по мере увеличения вероятности появления символа, он сделал информацию символа зависящей от обратной величины его вероятности. Поскольку обратная величина числа - это просто единица, деленная на это число, большая вероятность означает меньшую "обратную вероятность". Таким образом, чем чаще используется символ, тем ниже его информативность. Наконец, чтобы удовлетворить другие математические требования, он взял логарифм этого значения.
Логарифм, или "логарифм", определяется по основанию. Например, чтобы вычислить логарифм числа по основанию 10, нужно спросить: "До какой степени нужно увеличить 10, чтобы получить это число? Логарифм
