Здесь перед людьми встает другая проблема: осуществление контроля относительно более простой системы за деятельностью системы относительно более сложной. Допустим, коллектив из 30, 130, 230 и т. д. специалистов обслуживает и контролирует ИИ, который, в свою очередь, контролирует сеть. Помимо ИИ-охранника, в наличии будут еще десятки и сотни ИИ, находящихся в распоряжении государственных учреждений и частных лиц. Число ИИ будет непрерывно увеличиваться. Законы Паркинсона будут препятствовать выделению значительных средств такому коллективу до реальных проявлений Deus ex machina, и он вряд ли будет включать в себя больше нескольких сотен человек. Значит, какими бы эффективными средствами контроля они ни располагали — они смогут контролировать ИИ лишь определенного уровня и никак не мощнее (в силу ограниченных возможностей каждого человека). Но Deus ex machina, обходя закон, сможет очень быстро привлечь гораздо большие ресурсы, чем имеющиеся у контролирующего ИИ, и последний сможет обнаружить неподконтрольное компьютерное сознание только в период его «детства».
Как способ контроля непрерывно совершенствующегося ИИ, в конечном итоге будет создан более простой ИИ. К этому неизбежно придут в своем развитии Web-доктора. Следующим шагом будет постепенное построение целой системы, наподобие матрешки, в которой человек сможет контролировать только ИИ начального уровня. Но даже самая умная собака не поймет нюансов дебатов о пошлинах на ввоз мяса. Даже самый гениальный математик не сможет свободно ориентироваться в 8, 12, 20-мерном пространстве.
При современных темпах развития электроники человек неизбежно окажется в подобном положении. Не поможет даже увеличение числа людей, занимающихся проблемой контроля за ИИ, — по достижении определенной их численности в дело вступят те же законы Паркинсона. Эффективность действий даже самого большого коллектива нельзя поднимать бесконечно.
Против подобных доводов — о тупиковости развития охранных ИИ, о неизбежности девиации потребительских ИИ вообще — есть сильный контрдовод: все ИИ будут снабжены ограничениями, построенными по законам Азимова (машина не имеет права…). Зачем контролировать процесс, если можно задать его начальные параметры? Но, увы, это ненадежный путь. Со времени гильотины механизмы убивали и продолжают убивать людей, причем как с согласия государства (сейчас ядовитую инъекцию осужденному в некоторых штатах США осуществляет автомат), так и без оного. Человек причиняет вред человеку, и в обозримом будущем это не удастся предотвратить. Противоречие между действительностью и начальными установками неизбежно приведет к изменению характеристик самообучающегося ИИ. Поэтому трудно требовать от ИИ соблюдения законов Азимова, если сами люди не соблюдают категорический императив Канта. А человек всегда будет отчасти средством для других людей, пока будет оставаться лучше машины хоть в каком-то своем качестве. Наконец, законы Азимова не предотвращают гедонистического упадка человечества.
Посредники между человеком и ИИ лишь оттянут момент утраты контроля за последним.
Человеческое сознание должно само обладать возможностями машины. Выполнимо ли это?
Это станет осуществимо, как только возможности вычислительной техники и математики позволят описать все процессы мышления человека. Программа, точно копирующая сознание, возможна настолько, насколько возможны другие программы, описывающие физические, психические, химические процессы.
Если человек хочет безгранично усовершенствовать свое сознание, делать его всё более могущественным, необходимо менять его носитель — это очевидно. Причем новый носитель не должен иметь ограничений в наращивании мощностей, иначе это будет еще один тупиковый путь развития. Это могут дать только компьютеры.
Здесь перед человечеством встает целый комплекс проблем, которые можно условно разделить на технологические и этические. Технические проблемы состоят в самой возможности математического описания личности человека и — механизмов его мышления. Необходимо не только детально зафиксировать все эти процессы, но и определить, не повлияют ли фатальным образом новые возможности человеческого сознания на его личность.
Этические проблемы начинаются от возможности самого факта смены носителя человеческого сознания и заканчиваются вопросом допуска перенесенных сознаний к воспитанию детей.
Технологический проблемы, несомненно разрешатся. Если мышление — процесс, то его описание языком математики лишь дело времени. Ведь в нем участвуют лишь электрохимические явления, и не используется радиоактивность, распад элементов и т. п. Наличие только изотопа углерода С12 в живых тканях — это исключение, лишь подтверждающее правило. Число элементов, обеспечивающих процесс мышления, ограничено, и их совокупность может быть математически описана. А воздействия на мозг, не воспринимаемые нейронами как сигналы (изменение магнитного, гравитационного полей, прохождение через мозг нейтрино), могут быть введены в уравнение как константы либо генераторы случайных чисел.
Более сложная проблема: сохранение индивидуальности человека. Чудовищно увеличившаяся память и возможность обработки информации, отсутствие сна и болезней неизбежно скажутся на характеристиках мышления. Чего стоит только одна возможность вести диалог одновременно с несколькими собеседниками. Здесь важнейшую роль сыграет соотношение сознательного и бессознательного в копии человеческого ума. Развивающееся сознание сможет провести самоанализ и самоотредактироваться, но если оно должно оставаться человеческим — на самоусовершенствование необходимо накладывать определенные ограничения. В то же время — кто из взрослых людей в свое время не играл в куклы, солдатиков и т. п.? Личность взрослого является «правопреемницей» той личности ребенка, что возилась с игрушками, и в памяти взрослый человек может воссоздать ранние моменты своей жизни. Но будет ли он всерьез забавляться со старыми игрушками? Рост личности повлечет смену приоритетов сознания.
Этические проблемы, большая часть которых суть продолжение экономических и политических проблем, более разнообразны по своей природе. Главнейшая проблема — статус перемещенного сознания. Его нельзя уже считать абсолютно человеческим, но нельзя и лишать гражданских прав.
В то же время, если перемещенное сознание станет во главе какого-либо государства, население воспримет владыку, как машину, правящую людьми. Соответственно, неизбежны очень тяжелые и кровопролитные общественные процессы.
