ВРЕЗКА 9. НЕОЖИДАННЫЕ РЕЗУЛЬТАТЫ СЛЕПОГО ПОИСКА
Даже простые процессы эволюционного поиска иногда приводят к совершенно неожиданным для пользователя результатам, которые тем не менее формально удовлетворяют поставленным критериям.
Область способного к эволюции аппаратного обеспечения представляет много примеров данного явления. Поиск проводится при помощи эволюционного алгоритма, который прочесывает пространство возможных схем аппаратных средств и тестирует каждую из них на пригодность путем реализации каждого варианта в виде интегральной схемы и проверки правильности ее функционирования. Часто в результате эволюционного дизайна удается достичь значительной экономии. Например, в ходе одного из подобных экспериментов была обнаружена схема дискриминации частот, которая функционировала без тактового генератора — компонента, считавшегося обязательным для выполнения такого рода функции. Исследователи оценили, что схемы, полученные в результате эволюционного дизайна, на один-два порядка меньше, чем те, которые для тех же целей создали бы инженеры-люди. Такие схемы использовали физические свойства входящих в них компонентов совершенно нетрадиционными способами, в частности, некоторые активные и необходимые для работы компоненты вообще не были соединены с входными или выходными ножками! Вместо этого они взаимодействовали с другими компонентами за счет того, что обычно считается досадными помехами: скажем, электромагнитных полей или нагрузки источника питания.
Другой эксперимент по эволюционной оптимизации с заданием разработать осциллятор, привел к исчезновению из схемы, казалось бы, еще более необходимого компонента — конденсатора. Когда успешное решение было получено и ученые посмотрели на него, то первой реакцией были слова: «Это не будет работать!» Однако после более тщательного анализа оказалось, что алгоритм, словно секретный агент Макгайвер[25], переконфигурировал свою материнскую плату, лишенную датчиков, в импровизированный радиоприемник, использовав дорожки печатной схемы в качестве антенны для приема сигналов, генерируемых компьютером, который располагался поблизости в той же лаборатории. Затем эти сигналы усиливались схемой и преобразовывались в выходной сигнал осциллятора16.
В других экспериментах эволюционные алгоритмы разрабатывали схемы, которые определяли, что материнскую плату проверяли осциллографом или что в лаборатории в розетку включали паяльник. Эти примеры показывают, как программы в процессе свободного поиска могут изменить назначение доступных им ресурсов, чтобы обеспечить себе неожиданные сенсорные возможности такими средствами, которые привычно мыслящий человеческий ум не готов не только использовать, но и просто понять.
Тенденция эволюционного поиска: отыскивать «хитрые» решения и совершенно неожиданные пути достижения цели — проявляется и в природе, хотя мы считаем вполне нормальными знакомые нам результаты биологической эволюции, даже если и не были бы готовы спрогнозировать их. Зато можно провести эксперименты с искусственным отбором, в ходе которых увидеть работу эволюционного процесса вне рамок привычного контекста. В таких экспериментах исследователи могут создавать условия, редко встречающиеся в природе, и наблюдать за их результатами.
Например, до 1960-х гг. среди биологов было распространено мнение, что популяции хищников ограничивают свой рост, чтобы не попасть в мальтузианскую ловушку17. И хотя индивидуальный отбор работал против такого ограничения, многие считали, что групповой отбор должен подавлять индивидуальные склонности использовать любые возможности для продолжения рода и поощрять такое поведение, которое благоприятно сказывается на всей группе или популяции в целом. Позднее теоретический анализ и моделирование показали, что хотя групповой отбор и возможен в принципе, он способен победить индивидуальный отбор в очень редко встречающихся в природе условиях18. Зато такие условия могут быть созданы в лаборатории. Когда при помощи группового отбора особей мучного хрущака (Tribolium castaneum) попытались добиться уменьшения размера их популяции, это действительно удалось сделать19. Однако методы, благодаря которым был получен требуемый результат, включали не только «благоприятное» приспособление в виде снижения плодовитости и увеличения времени на воспроизводство, которых можно было бы наивно ожидать от антропоцентричного эволюционного поиска, но и рост каннибализма20.
Как показывают примеры, приведенные во врезке 9, процессы неограниченного поиска решений иногда выдают странные, неожиданные и не антропоцентричные результаты даже в нынешнем своем весьма ограниченном виде. Современные поисковые процессы неопасны, поскольку слишком слабы, чтобы разработать план, способный привести к их господству над миром. Такой план должен включать чрезвычайно сложные шаги вроде создания новых видов оружия, на несколько поколений опережающих существующие, или проведение пропагандистской кампании, гораздо более эффективной, чем те, что доступны современным механизмам манипулирования людьми. Чтобы у машины появилась возможность хотя бы помыслить об этих идеях, не говоря уже об их воплощении в жизнь, вероятно, ей нужно уметь представлять мир как минимум так же реалистично и детально, как это делает обычный взрослый человек (хотя отсутствие знаний в определенных областях может быть скомпенсировано чрезвычайно развитыми навыками в других). Пока это далеко превышает уровень имеющихся систем ИИ. А учитывая комбинаторный взрыв, который обычно пресекает попытки решить сложные задачи планирования при помощи методов перебора (мы видели это в первой главе), недостатки известных алгоритмов не могут быть преодолены простым наращиванием вычислительной мощности21. Однако по мере развития процессов поиска или планирования растет и их потенциальная опасность.
Возможно, вместо того чтобы позволить спонтанное и опасное развитие целенаправленного поведения агентов при помощи мощных поисковых алгоритмов (включая процессы планирования и прямого поиска решений, удовлетворяющих определенным критериям пользователя), лучше было бы создать агента намеренно. Наделив сверхразум явной структурой агентского типа, можно было бы повысить его предсказуемость и прозрачность. Хорошо разработанная система с четким разделением между целями и навыками позволила бы нам делать прогнозы относительно результатов, которые она будет выдавать. Даже если мы не сможем точно сказать, к какому мнению придет система или в каких ситуациях окажется, будет понятно, в каком месте можно проанализировать ее конечные цели и, как следствие, критерии, которыми она воспользуется при выборе своих действий и оценке потенциальных планов.
Сравнительная характеристика
Будет полезно обобщить свойства различных каст ИИ, которые мы обсудили (табл. 11).
Таблица 11. Свойства различных типов интеллектуальных систем
Оракул
Система для ответа на вопросы
Полностью применимы изоляционные методы.
Полностью применим метод приручения.
Сниженная потребность в понимании человеческих намерений и интересов (по сравнению с джиннами и монархами).
Использование вопросов, на которые существуют однозначные ответы типа «да» и «нет», поможет избавиться от необходимости измерять «полезность» или «информативность» ответов
Варианты: оракулы, ограниченные одной областью знаний (например, математикой); оракулы с ограниченным доступом к каналу вывода (например, дающие ответы: «да», «нет», «нет решения», «почти наверное»); оракулы, отказывающиеся отвечать на вопросы, содержащие хотя бы намек на некоторый заранее определенный критерий «бедствия»; множественные оракулы для сравнения ответов
Источник огромной власти (могут обеспечить оператору решающее стратегическое преимущество).
Ограниченная защита от неправильного использования оператором.
Ненадежных оракулов можно было бы использовать для получения ответов на вопросы, которые трудно отыскать, но легко проверить.
Облегченную форму проверки ответов можно было бы проводить за счет использования множества оракулов
Джинн
Система исполнения команд
Отчасти применимы изоляционные методы (для пространственно ограниченных джиннов).
Отчасти применим метод приручения.
Джинны могут прогнозировать наиболее характерные проблемы и запрашивать подтверждение на выполнение команд
Варианты: джинны, использующие различные «дистанции экстраполяции» или степени следования скорее духу, нежели букве команд; джинны, ограниченные отдельными областями знаний; джинны, отказывающиеся выполнять команды, если они предсказывают, что их выполнение отвечает некоторому заранее определенному критерию «бедствия»
