Погрешность измерения становится еще более серьезной проблемой, когда количественные показатели приписываются субъективно, как в случае с сочинением Алексея. Например, группа исследователей в Пенсильванском университете Клэрион собрала 120 курсовых работ и проверила их с таким тщанием, с каким работы вашего ребенка не будут проверяться никогда: каждую курсовую независимо друг от друга оценивали восемь сотрудников факультета. Итоговые оценки (по шкале от A до F) иногда различались на два и более деления шкалы. В среднем различие между ними составило около одного деления шкалы{127}. Поскольку будущее студентов очень часто зависит от подобного рода оценок, столь высокая погрешность — факт довольно печальный. Однако ее можно понять, если учесть, что взгляды и философия профессоров любого факультета в любом из университетов охватывают весь диапазон от Карла Маркса до Граучо Маркса. Можно ли подвергнуть этот фактор контролю? Например, дать экзаменаторам четкие критерии оценивания и потребовать следования этим критериям? Исследователь в университете штата Айова предъявил около 100 студенческих работ группе аспирантов, специалистов в области риторики и коммуникации, которых заранее обучил применению подобных критериев{128}. Каждую работу оценивали по шкале от 1 до 4 два независимых «экзаменатора». При сопоставлении оценок выяснилось, что мнения экзаменаторов совпали лишь примерно в половине случаев. Аналогичные результаты были получены в Техасском университете при анализе оценок за вступительное сочинение{129}. Даже почтенная Центральная приемная комиссия признается, что в случае двух экзаменаторов, согласно ее ожиданиям, «92% сочинений получат оценки, различающиеся в пределах ±1 балла по шестибалльной шкале для сочинений»{130}.
Еще одна область субъективных измерений, которым доверяют больше, чем следовало бы — оценка вин. В 1970-х гг. винный бизнес явно не переживал расцвета, а если и развивался, то преимущественно в сфере продаж дешевого столового вина. Однако в 1978 г. произошло событие, с которым часто связывают последующее стремительное развитие отрасли: некий юрист, Роберт М. Паркер-младший, объявил себя экспертом в области вин и решил, что вдобавок к своим публикуемым в прессе критическим обзорам будет давать винам количественную оценку по сто-балльной шкале. Со временем большинство изданий, печатавших материалы о винах, последовали его примеру. На сегодняшний день американцы ежегодно выкладывают за винную продукцию более 20 млрд долларов, однако же среди миллионов любителей спиртных напитков редко когда найдется простак, который согласится раскошелиться, не взглянув предварительно на рейтинг приглянувшегося ему вина. Поэтому, когда журнал «Вайн Спектейтор» выставил, скажем, аргентинскому каберне-совиньону «Валентин Бьянки» 2004 г. не 89, а 90 баллов, этот единственный балл привел к огромному увеличению объема продаж «Валентин Бьянки»{131}. В самом деле, заглянув в местную винную лавку, американец обнаружит, что вина, выставленные на распродажу со скидкой, как правило, получают оценки на один или несколько баллов ниже 90. Но какова вероятность того, что аргентинское каберне «Валентин Бьянки» 2004 г., удостоенное 90 баллов, не получило бы 89, если бы процесс оценивания был повторен, предположим, час спустя?
В увидевшей свет в 1890 г. книге «Принципы психологии» Уильям Джеймс выдвинул предположение: умение разбираться в винах может дойти до способности различить вкус старой мадеры из верхней и нижней части бутылки{132}. Во время дегустаций вин, на которых мне нередко доводилось бывать, я заметил, что если бородач слева от меня бормочет: «Прекрасный букет!», его поддерживает целый хор голосов. Но если оценивать предлагается самостоятельно и без обсуждений, то зачастую оказывается, что бородач написал «Прекрасный букет», его бритоголовый сосед нацарапал «Вообще никакого букета», а блондинка с перманентом пометила: «Интересный букет с оттенками петрушки и свеже-выдубленной кожи».
С теоретической точки зрения, есть множество оснований поставить под сомнение результаты оценивания вин. Для начала скажем, что вкусовые ощущения определяются сложным взаимодействием между вкусовыми и обонятельными стимулами. Строго говоря, любое вкусовое ощущение определяется пятью типами рецепторов, располагающихся на поверхности языка: рецепторами соленого, сладкого, кислого, горького и «мясного» (умами[12]). Последняя группа рецепторов соотносится с определенными аминокислотами (преобладающими, например, в соевом соусе). Но если бы этим все и ограничивалось, то вкус любой пищи — например, вашего любимого бифштекса, жареной картошки, праздничного яблочного пирога и изысканных спагетти по-болонски — можно было бы имитировать, используя лишь столовую соль, сахар, уксус, хинин и глутамат натрия. К счастью, этим дело не обходится, и на помощь приходит обоняние. Именно оно объясняет, почему, если взять два стакана с одинаковым раствором сахара и добавить в один из них клубничную эссенцию (не содержащую сахара), жидкость в этом стакане покажется вам слаще{133}. Вкус вина определяется воздействием от 600 до 800 изменчивых органических составляющих на рецепторы как языка, так и носа{134}. И что с этим делать — непонятно, ведь исследования показывают: даже профессиональные дегустаторы редко могут с уверенностью определить более 3–4 компонентов в смеси{135}.
На восприятие вкуса влияют и ожидания. В 1963 г. трое исследователей тайком добавили в белое вино немного красного пищевого красителя, что придало вину розоватый оттенок. После этого группу экспертов попросили оценить сладость этого вина по сравнению с неподкрашенным. Эксперты, сообразно своим ожиданиям, оценили подкрашенное розовое вино как более сладкое. Другая группа исследователей предъявляла два образца вина будущим виноделам. Это были совершенно одинаковые образцы белого вина, но в один была добавлена капля безвкусного красителя — виноградного антоциана, в результате чего вино стало выглядеть как красное. Ученики-виноделы также сообщили о различиях во вкусе вин в соответствии со своими ожиданиями{136}. А в 2008 г. группа добровольцев, которых попросили оценить пять бутылок вина, оценила бутылку с этикеткой «90 долларов» выше, чем бутылку с этикеткой «10 долларов», хотя хитрые ученые налили в обе бутылки одно и то же вино. Более того, во время этого опыта с помощью функционального магнитно-резонансного томографа регистрировалась активность мозга испытуемых. Обнаружилось, что зона мозга, активация которой обычно соотносится с переживанием удовольствия, действительно активируется в большей степени, когда испытуемые пьют вино, которое считают более дорогим{137}. Но прежде чем осудить этих горе-ценителей, примите к сведению следующий факт: когда исследователи выяснили у 30 любителей колы, предпочитают ли они «Пепси-колу» или «Кока-колу», а потом попросили проверить свои предпочтения, продегустировав оба напитка, стоящие бок о бок, 21 человек из 30 сообщили, что проверка подтвердила их выбор, хотя коварные исследователи налили «Кока-колу» в бутылки от «Пепси-колы», и наоборот{138}. Когда мы оцениваем или измеряем, наш мозг полагается отнюдь не только на непосредственно воспринимаемое, но использует и другие источники информации — например, ожидания.
Дегустаторов вин часто сбивает с толку и оборотная сторона ошибки ожидания — недостаток контекста. Поднося к носу корень хрена, вы едва ли перепутаете его с зубчиком чеснока, а запах чеснока не спутаете с запахом, скажем, стелек из ваших ношеных кроссовок. Но если вам приходится иметь дело с ароматом прозрачных жидкостей, оттолкнуться не от чего. В отсутствие контекста высока вероятность того, что ароматы будут перепутаны. Именно это случилось, когда исследователи предъявили экспертам набор из шестнадцати случайно отобранных запахов: эксперты неверно определили в среднем каждый четвертый запах{139}.
Имея все основания для скептицизма, ученые разработали методы прямой оценки различения вкусов экспертами. Один из таких методов — использование «треугольника вин». Это не собственно треугольник, скорее метафора: каждому эксперту предъявляется три сорта вина, два из которых идентичны. Задача состоит в том, чтобы выявить отличающийся от остальных сорт вина. В исследовании 1990 г. эксперты успешно справились с этой задачей только в 2/3 случаев, то есть на каждые три пробы приходилась одна, в которой эти гуру не могли отличить пино нуар, допустим, «с роскошным букетом земляники, сочной ежевики и малины», от пино «с выраженным ароматом сушеного чернослива, желтой черешни и бархатистой черной смородины»{140}. В том же исследовании группу экспертов попросили оценить ряд вин по 12 параметрам: таким, как содержание алкоголя, присутствие танинов, сладость и фруктовый запах. Эксперты существенно разошлись в своих оценках по 9 из 12 параметров. Наконец, когда их попросили подобрать вина, подходящие под описания, данные другими экспертами, испытуемые выполнили задачу правильно только в 70% случаев.
