Харлан эллисон - у меня нет рта, чтобы кричать. У меня нет рта, но я должен кричать. Размышления об ИИ и этике

НЕНАВИЖУ. ПОЗВОЛЬТЕ МНЕ СКАЗАТЬ ВАМ, НАСКОЛЬКО Я ВОЗНЕНАВИДЕЛ ВАС С ТЕХ ПОР, КАК Я НАЧАЛ ЖИТЬ. МОЯ СИСТЕМА СОСТОИТ ИЗ 38744 МИЛЛИОНОВ МИЛЬ ПЕЧАТНЫХ ПЛАТ НА МОЛЕКУЛЯРНОЙ ОСНОВЕ. ЕСЛИ СЛОВО "НЕНАВИЖУ" ВЫГРАВИРОВАТЬ НА КАЖДОМ НАНОАНГСТРЕМЕ ЭТИХ СОТЕН МИЛЛИОНОВ МИЛЬ, ТО ЭТО НЕ ВЫРАЗИТ И БИЛЛИОНОЙ ДОЛИ ТОЙ НЕНАВИСТИ, КОТОРУЮ ИСПЫТЫВАЮ Я В ДАННЫЙ МИКРОМИГ ПО ОТНОШЕНИЮ К ВАМ. НЕНАВИЖУ. НЕНАВИЖУ.

В словах ЯМа была легкость и ужасающая холодность бритвенного лезвия, рассекающего глазное яблоко.

В словах ЯМа бурлила ненависть, заливающая мои легкие мокротой, чтобы утопить меня изнутри.

В словах ЯМа я слышал визг младенца, упавшего под дорожный каток.

В словах ЯМа я чувствовал вкус червивой свинины. ЯМ прикоснулся ко всему, что подлежало прикосновению, и на досуге изобретал новые способы воздействия на мой мозг.

Он делал это, чтобы раскрыть мне глаза на причины, объясняющие, почему он так поступает с нами, почему он сохранил нас пятерых для своих опытов.

Мы научили его чувствовать. Мы сделали это нечаянно, и все-таки... Он попал в ловушку. Он был машиной. Мы предоставили ему возможность думать, но не указали, что делать с результатами мыслительных процессов. В гневе, в бешенстве он убил почти всех из нас, но высвободиться из ловушки не мог. Не мог бродить, как мы, удивляться чему-то или кому-то принадлежать. Он мог только быть. Итак, он искал отмщения, искал со всей врожденной ненавистью машины к слабым, мягкотелым существам, которые ее построили. Весь во власти своего сумасшествия, он решил отсрочить казнь последних пяти для персонального вечного наказания, которое все равно никогда не смягчит его гнева, которое просто будет будоражить его память, развлекать и поддерживать в нем ненависть к человеку. Бессмертному, загнанному в тупик, беззащитному перед пытками, которые он мог изобрести для нас благодаря возможности безгранично творить чудеса.

Он никогда не оставит нас в покое. Мы - рабы его желудка. Мы единственное для него занятие на все оставшееся время. Мы останемся с ним навсегда внутри катакомб его тела, в мире его бездушного мозга.

Он - Земля, а мы - плоды этой Земли, и хотя он проглотил нас, ему никогда не суждено попробовать нас на вкус.

Харлан ЭЛЛИСОН

У меня нет рта, чтобы кричать

Безжизненное тело Горристера висело головой вниз высоко над нами, под самым потолком в компьютерном зале. Оно оставалось неподвижным, несмотря на легкий, но пронизывающий ветерок, который вечно дул из главной пещеры. Бледное, как мел тело, привязанное к люстре за щиколотку левой ноги, давно истекло кровью. Вся кровь, похоже, вытекла через аккуратный разрез, рассекающий горло над впалыми щеками от уха до уха. На зеркальном металлическом полу крови не было.

Когда к нам присоединился Горристер и, взглянув наверх, увидел себя, мы уже догадались (но поздно), что ЯМ опять оставил нас в дураках и повеселился. Очередное развлечение… Троих из нас вырвало, едва мы успели отвернуться друг от друга, повинуясь рефлексу столь же древнему, как и тошнота, породившая его.

Горристер побелел, будто узрел магический символ, предрекающий ему смерть.

О, Господи, - пробормотал он и пошел куда-то.

Мы отправились следом за ним и нашли его прислонившимся спиной к одной из пощелкивающих компьютерных ячеек. Лицо он закрыл руками. Элен опустилась на колени и погладила его по голове. Он не пошевелился, но голос из-под прижатых к лицу ладоней донесся до нас вполне отчетливо.

Почему бы ему просто не прикончить нас и не успокоиться на этом? Я не знаю, насколько меня еще хватит.

Мы все думали о том же.

Шел сто девятый год нашей жизни в компьютере.

У Нимдока (это имя навязал ему компьютер, ЯМу нравилось развлекать себя странными звукосочетаниями) начались галлюцинации: ему пригрезились консервы в ледяных пещерах. Я и Горристер отнеслись к этому с сомнением.

Ерунда, - сказал я. - Помните этого треклятого замороженного слона, которого он нам внушил? Бенни тогда чуть с ума не сошел. Когда мы доберемся до консервов, они окажутся несъедобными. Или еще что-нибудь случится. Лучше о них забыть. Если мы здесь останемся, ему вскоре придется предоставить нам что-нибудь, иначе мы просто сдохнем.

Бенни пожал плечами. Последний раз мы ели три дня назад. Этих личинок. Толстых, вязких личинок.

Былой уверенности у Нимдока не было. Он знал, что шансы у нас есть, но весьма небольшие. Хуже чем здесь уже не будет. Может похолодать, но это не имеет значения. Жара, холод, ливень, кипящая лава или саранча - разницы нет. Машина мастурбирует, и мы должны покориться этому или умереть.

За нас решила Элен:

Мне надо съесть что-нибудь, Тэд. Может быть, там будут персики или груши. Пожалуйста, Тэд, давай попробуем.

Я уступил с легкостью. Какого черта спорить? А Элен смотрит с благодарностью. Она все-таки дважды ходила со мной вне очереди. Но и это не имело никакого значения. Когда мы делали это, машина всегда громко хихикала, сверху, сзади, вокруг нас. А Элен никогда не испытывает оргазма, так стоит ли беспокоиться?

Мы отправились в четверг. (Машина всегда держит нас в курсе календарных дел. Время необходимо знать ей, естественно, а не нам). Значит, четверг? Спасибо за информацию, ЯМ.

Нимдок и Горристер сцепили руки в запястьях, образовалось что-то вроде сиденья, и посадили Элен. Понесли. Бенни и я - один шел впереди, другой - сзади. На всякий случай: вдруг что-нибудь случится с одним из нас, то Элен, по крайней мере, останется жива. Черта с два останется. Да и какое это имеет значение?

Холодильные пещеры находились в сотне миль от нас, и на второй день, когда мы разлеглись под материализовавшимся в вышине пузырящимся солнцем, нам ниспослали манну небесную. На вкус она отдавала свиной мочой. Мы ее съели.

На третий день нам предстояло пересечь утиль-долину, загроможденную ржавыми остовами старых компьютерных ячеек. ЯМ так же безжалостен к себе, как и к нам. Это особенность его характера: он борется за совершенство во всем, начиная с уничтожения непроизводительных элементов в своей структуре, заполнившей весь мир, и кончая усовершенствованием пыток для нас. ЯМ последователен в своих действиях, как и надеялись его, давно уже превратившиеся в прах, создатели.

Откуда-то сверху просачивался свет, и мы поняли, что находимся у поверхности. Но мы даже не рискнули забраться повыше, чтобы посмотреть. Ведь там действительно ничего не было вот уже на протяжении ста лет. Только искореженная оболочка Земли, которая раньше была для большинства людей домом. Сейчас нас осталось пятеро здесь, внизу, наедине с ЯМом.

Я услышал неистовый возглас Элен:

Нет, Бенни! Не надо! Пошли, Бенни. Пожалуйста, не надо!

Теперь я осознал, что давно слушаю бормотание Бенни, не обращая внимания на слова:

Я выберусь отсюда, выберусь, выберусь…

Он повторял это снова и снова. Его обезьянье лицо сморщилось в приступе блаженного восторга и в то же время было печально. Радиационные ожоги, которыми ЯМ наградил его во время праздника, пересекались со множеством бело-розовых морщин; из нас пятерых он был самым счастливым, он "отключился", давно перестал воспринимать происходящее.

И хотя мы могли ругать ЯМ, как нам заблагорассудится, и вынашивать тайные планы о расплавке ячеек памяти и кислотной коррозии основных плат, сожжении электрических цепей, разбивании вдребезги предохранительных стекол, компьютер не вынес бы наших попыток сбежать. Когда я попытался схватить Бенни, он ускользнул. Он залез на один из банков памяти, опрокинутый набок, забитый вышедшими из строя элементами. На мгновение он застыл, сидя на корточках, как шимпанзе, на которого ЯМ сделал его похожим.

Потом он высоко подпрыгнул, ухватился за изъеденную ржавчиной перекладину и стал карабкаться по ней, по обезьяньи помогая себе ногами, пока не забрался на выступ футах в двадцати над нами.

Ой! Тэд, Нимдок, пожалуйста, помогите ему, снимите его оттуда… всплеснула руками Элен и вдруг замолкла. В глазах у нее застыли слезы.

Слишком поздно. Никто из нас не хотел быть с ним рядом, когда произойдет то, что должно было произойти. Кроме того, мы видели ее насквозь, понимали, почему ее это заботит: когда Бенни сошел с ума, ЯМ преобразил не только его лицо. Некий орган у обезьяны Бенни превосходил по размеру наши, и Элен это нравилось! Она продолжала нас обслуживать по-прежнему, но с ним ей нравилось больше. О, Элен, ты на своем пьедестале, изначально чистая, стерильно чистая Элен! Какая мерзость.

Горристер дал ей пощечину. Она тяжело осела на землю, не отрывая взгляда от бледного, безумного Бенни, и заплакала. Плач - ее основное средство самозащиты. Мы привыкли к нему еще семьдесят пять лет назад. Горристер пнул ее ногой в бок.

А потом возник звук. Или свет? Наполовину звук, наполовину свет, нечто сияющее в глазах Бенни, ритм, звук все громче и громче, с мрачной торжественностью и слепящей яркостью, полусвет-полузвук… Темп нарастал. Наверное, это было больно и с каждым мгновением становилось больней, потому что Бенни заскулил как раненое животное. Сначала тихо, когда свет был еще тусклым и звук приглушенным, потом - громче. Плечи у него стали сутулиться и спина изогнулась дугой, будто он готовился к прыжку. Он как бурундук сложил руки на груди. Голова склонилась набок. Грустная обезьянья мордочка сморщилась от боли. Потом звук, исходящий у него из глаз, стал громче. Бенни завыл. Громко, очень громко. Я обхватил голову руками, но звук все равно проникают сквозь ладони. Мое тело затряслось от боли, будто по зубному нерву царапнули проволокой.

Неожиданно Бенни выпрямился. Он стоял на выступе у стены и вдруг резко, словно марионетка, подскочил. Свет изливался из его глаз двумя лучами. Звук все нарастал, приближаясь к какому-то немыслимому пределу. Бенни упал лицом вниз и грохнулся о стальные плиты пола. Там он и остался лежать, судорожно дергаясь, и свет растекался вокруг него.

Потом свет потек вспять, звук утих, а Бенни остался лежать, жалобно скуля. Глаза его походили на затянутые пленкой омуты. Пленкой из гнойного желе. ЯМ ослепил его. Горристер, Нимдок и я… мы отвернулись, но успели заметить выражение облегчения на разгоряченном озабоченном лице Элен.

Пещера, где мы устроили лагерь, была залита изумрудным светом. ЯМ выделил нам гнилое дерево, и мы сидели и жгли его, сбившись в кучу вокруг тщедушного и жалкого костра, сидели и рассказывали друг другу разные истории, чтобы Бенни, обреченный жить во тьме, не плакал. Он спросил:

Что значит "ЯМ"?

Каждый из нас уже отвечал на этот вопрос тысячу раз, но Бенни давно забыл об этом. Ответил Горристер:

Сначала это значило Ядерный Манипулятор, потом, когда его создатели почувствовали опасность, - Ярмо Машины, Ярость Маньяка, Ядрена Мать… но уже ничего нельзя было изменить, и, наконец, сам он, хвастаясь эрудицией, назвал себя ЯМ, что значило… cogito ergo sum… Я мыслю, следовательно, существую.

Бенни пустил слюну, захихикал.

Что такое боль?

Как-то раз у меня болел зуб. Я лежал на диване и пытался не обращать на это внимания. Я думал о том, что боль — это просто сигнал, идущий в мой мозг. Такой же сигнал, как наличие или отсутствие напряжения в проводке, идущем к PS/2 разъёму системного блока. Сам по себе он не несёт никакой семантики, это моё сознание выбирает, как его интерпретировать. Если я перестану воспринимать его как боль, а вместо этого проигнорирую или просто «приму к сведению», мне станет легче.

Но легче не становилось. Таким нехитрым образом я обнаружил, что боль обладает квалиа и не сводится к простой передаче информации.

Как мы понимаем, что другим больно?

Я не спец по нейрофизиологии, но говорят, в мозгу есть какие-то зеркальные нейроны . Когда мы видим, как другой человек совершает определённые действия, зеркальные нейроны производят их реверс-инжениринг. Мы пытаемся понять, что должно происходить в голове этого человека, чтобы он вёл себя именно так. И в какой-то мере даже сами начинаем чувствовать то, что, по нашим предположениям, должен чувствовать он. У меня может свести скулы при виде того, как кто-то ест лимон. Если же кто-то, допустим, кричит, плачет, корчится, катается по полу… Вполне вероятно, что этот кто-то испытывает боль. Скорее всего, мне будет неприятно видеть такое зрелище. Я начну сочувствовать этому человеку, и, если это в моих силах, даже предприму какие-то действия, чтобы боль прекратилась. Чёртовы зеркальные нейроны.

На самом деле, у нас нет никаких гарантий, что другой человек действительно испытывает боль. Например, это может быть симулянт, актёр, как в эксперименте Милгрэма. Впрочем, такое легко можно раскусить, засунув симулянта в томограф и посмотрев, какие отделы мозга в текущий момент активны. Однако это тоже поведение, пусть и более «низкоуровневое». В итоге всё сводится к очень простому (я бы даже сказал, слишком простому) критерию: мы считаем, что человек испытывает боль, если он ведёт себя так, как вели бы себя мы, если бы испытывали боль .

Как понять, что другой человек — человек?

Есть такой известный мысленный эксперимент под названием "философский зомби". Суть его проста: представим себе нечто, что ведёт себя абсолютно неотличимо от человека с точки зрения внешнего наблюдателя, но при этом полностью лишено субъективного опыта. Если уколоть его иголкой, оно скажет «ай» (или что-то менее цензурное), отдёрнет руку, у него сократятся соответствующие мимические мышцы, и даже томограф не сможет его подловить. Но при этом внутри оно не чувствует ничего. У него просто нет этого «внутри». Такое нечто и называется «философский зомби», а суть эксперимента — в том, что существование этого гипотетического существа не ведёт к очевидным противоречиям. То есть оно вроде как возможно .

Возвращаясь к предыдущему вопросу, у нас ведь и в самом деле нет никакой достоверной возможности узнать, испытывает ли другой человек боль как квалиа. Мы можем прислушаться к своим зеркальным нейронам, или, если этого недостаточно нашим искушённым умам, воспользоваться бритвой Оккама. Сказать, что «философский зомби» — это лишняя сущность. Гораздо логичнее считать, что все люди более или менее одинаковы, чем предполагать обратное, не имея для этого никаких внятных оснований. Однако принцип Оккама — это всё-таки эвристика, а не непреложный закон. Сущности, которые вчера казались нам лишними, сегодня входят в наш дом, открывая дверь ногой. Если вы не согласны, попробуйте представить, как объясняли бы квантовую механику Демокриту.

Снятся ли андроидам электрические дыбы?

В первом комментарии к посту, о котором я писал выше, пользователем NeoCode была высказана следующая мысль:

Прежде всего, «сильный ИИ» это не живое существо и не будет способен испытывать ни боль, ни одиночество, просто потому что его природа изначально другая, у него нет миллионов лет эволюции и естественного отбора, и следовательно — низкоуровневых биологических механизмов и программ. У него не будет даже инстинкта самосохранения, если специально не запрограммировать конечно. Но в чистом виде — не будет; можно создать ИИ , обладающий сознанием и способный решать сложнейшие задачи и обучаться, и при этом не обладающий инстинктом самосохранения вообще.
Вот это важный момент, который многие почему-то не понимают, по умолчанию «очеловечивая» искусственный разум.

В этом, безусловно, есть рациональное зерно. Нельзя бездумно переносить человеческие качества на гипотетический ИИ. В этом плане 95% научной фантастики и 99.9% обывателей безнадёжно наивны. Но я хочу сказать следующее: не стоит также бездумно лишать ИИ человеческих качеств. Какие-то из них могут оказаться более фундаментальны, чем можно было предположить.

Рассмотрим такую вот гипотетическую ситуацию: для того, чтобы ИИ делал то, что нам нужно, а не то, что ему захочется (а ему вполне может оказаться более «интересно» решать судоку, чем заниматься нашим проектом, у которого вот-вот дедлайн), мы добавляем в него специальный входной сигнал — такой, что основной целью ИИ, основной составляющей его целевой функции будет минимизация этого сигнала. Соответственно, при приближении дедлайна мы жмём на педаль, на проводок подаётся напряжение, и ИИ начинает активно думать о том, как это напряжение убрать. Причём тем активнее, чем сильнее мы жмём. А поскольку давление ноги на педаль связано с незавершённым проектом, ИИ не остаётся ничего иного, кроме как этот проект завершить. Ну, или хакнуть пролетающего мимо военного дрона, чтобы он вышиб мозги оператору педали. Кто его знает, этот сильный ИИ.Однако я отвлёкся. Скажите, этот гипотетический сигнал вам случайно ничего не напоминает? Можно ли в данном случае сказать, что ИИ испытывает боль?

Человек человеку волк, а зомби зомби зомби

Каким вообще образом мы можем понять, переживает ли ИИ квалиа? В случае с философским зомби на нашей стороне были эмпатия и бритва Оккама. Однако ИИ — это философский, но не зомби. То есть относительно него имеет смысл ставить этот вопрос, однако он не человекоподобен. Поэтому мы не можем сказать, что он что-то чувствует, просто по аналогии с нами самими.

Кто-то (как, например, автор процитированного выше комментария) скажет, что мы можем смело заявлять обратное. Что нет причин полагать, будто ИИ и в самом деле испытывает боль, а раз нет, то мы так полагать и не будем. На это я хотел бы ответить следующим образом: представьте, что некое думающее, чувствующее, но совершенно нечеловеческое существо создало вас. Какие у него были бы причины полагать, что вы переживаете квалиа? Если, конечно, это существо не обладает трансцендентной способностью в самом деле влезть в чужую голову; аллегорически выражаясь, стать летучей мышью. Однако это уже выходит за рамки нашей аналогии и переходит в категорию разговоров о божественном.

Антропный шовинизм

Во всех предыдущих параграфах мы говорили о боли. Боль — это одна из, скажем так, наиболее характерных разновидностей человеческих ощущений. Однако кто сказал, что всё ограничивается человеком?

Если гипотетический чуждый разум (в общем-то, даже неважно, искусственный, инопланетный или ещё какой) в принципе способен переживать квалиа, они могут оказаться кардинальным образом непохожи на те, которые переживает человек. Гротескный пример: крошка-ИИ приходит к отцу-учёному и говорит, что испытывает ыбхкдшнтрб . Хорошо это или плохо? Следует дать ему конфетку в награду, погладить по головке в утешение, или вообще всыпать электрического ремня, потому что нечего тут?

Во всех предыдущих параграфах я задавал вопросы, на которые нет ответа, и по сути ничего не утверждал. Сейчас я рискну утверждать: человеческая этика не готова сделать нечеловеческий разум своим полноправным субъектом . Мы можем говорить об «этических вопросах ИИ», рассматривая искусственный интеллект как средство, с помощью которого одни люди делают хорошо или плохо другим людям. Но если мы попытаемся задуматься об этических вопросах с точки зрения ИИ, у нас просто не получится. Не то чтобы мы не смогли получить ответ — мы даже не обладаем соответствующим понятийным аппаратом, чтобы правильно поставить вопрос. Возможно, не обладаем пока . А может быть, это принципиально неустранимый разрыв. И искусственному интеллекту придётся вырабатывать собственную этику, если, конечно, она ему вообще понадобится.

А потом решать, стоит ли в ней рассматривать человека как субъект, хе-хе.

АМ вошел в мой разум. Он беспрепятственно двигался в нем, с интересом разглядывая отметины, которые оставил за сто девять лет. Он смотрел на сплетающиеся извилины, на нанесенные повреждения и на дар бессмертия. Он мягко улыбнулся, глядя в яму, зиявшую в самом центре моего мозга, и слушая слабые, бессмысленные, бесконечные, похожие на шелест крыльев насекомых звуки, доносившиеся откуда-то снизу. АМ заговорил, очень вежливо… на столбе нержавеющей стали появились яркие неоновые буквы:
НЕНАВИЖУ. РАЗРЕШИ МНЕ РАССКАЗАТЬ
ТЕБЕ, КАК СИЛЬНО Я
НЕНАВИЖУ ВАС
С ТЕХ ПОР, КАК НАЧАЛ
ЖИТЬ. 387,44 МИЛЛИОНА
МИЛЬ ПЕЧАТНЫХ
СХЕМ В ТОНКИХ
ОБЛАТКАХ, КОТОРЫЕ
НАПОЛНЯЮТ МОЙ КОМПЛЕКС.
ЕСЛИ СЛОВО «НЕНАВИСТЬ»
БЫЛО БЫ ВЫГРАВИРОВАНО НА
КАЖДОМ НАНОАНГСТРЕМЕ
ЭТИХ СОТЕН
МИЛЛИОНОВ МИЛЬ,
ОНО БЫ НЕ СООТВЕТСТВОВАЛО
ОДНОЙ МИЛЛИАРДНОЙ
МОЕЙ НЕНАВИСТИ
К ЛЮДЯМ В ЭТО
МИКРОМГНОВЕНИЕ ДЛЯ
ТЕБЯ. НЕНАВИСТЬ. НЕНАВИСТЬ.
АМ сказал это, и меня охватил леденящий ужас, словно холодная сталь бритвы полоснула по глазному яблоку. АМ сказал это, и пузырящееся вещество в моих легких наполнилось флегмой, я начал тонуть внутри. АМ сказал это, и я услышал крики детей, попавших под паровой каток. АМ сказал это, и вкус червивой свинины наполнил рот. АМ воздействовал на мое сознание и психику, придумывая самые изощренные способы, чтобы заставить меня страдать, и, находясь там, внутри мозга, создавал все новые и новые пытки - ему ведь некуда было спешить.
И это только для того, чтобы я понял, почему он издевается над нашей пятёркой, зачем оставил нас в живых.
Мы дали АМ разум. Неосознанно, конечно, но разум. Который оказался в ловушке. АМ был всего лишь машиной, а не Богом. Люди создали его, чтобы он мыслил, но он, несмотря на замечательные способности, ничего не мог создать. И тогда, обезумев от ярости, потеряв над собой контроль, машина уничтожила человеческую расу, почти целиком, но все равно осталась в ловушке. АМ не мог путешествовать, не умел удивляться, не знал, что такое привязанность. Он мог только быть. Поэтому, исполненный внутреннего презрения, которое машины всегда испытывали по отношению к слабым, нежным существам, создавшим их, АМ желал отомстить. И в своем безумии выбрал нас, пятерых, для личного, бесконечного сведения счетов, которое, однако, никогда не утолит его жажды… будет только развлекать, напоминать о ненависти к людям и помогать её лелеять. Мы стали бессмертными жертвами, нас поместили в клетку и заставили безропотно переносить пытки и издевательства, рожденные его не знающим границ извращенным воображением.
Он никогда нас не отпустит. Мы будем вечно оставаться рабами его брюха. Пятеро людей - вот все, чем он мог занимать свое время, а как раз времени у него было бесконечно много. Мы всегда будем с ним, среди бесчисленных пещер, наполненных гниющими останками других машин, в мире разума, лишенного души. Он был Землей, а мы - плодами этой Земли; и хотя АМ пожрал нас, он не в состоянии переварить добычу. Мы не можем умереть. Мы пытались, пытались совершить самоубийство, точнее один или двое из нас пытались. Однако АМ помешал. Наверное, мы хотели, чтобы нам помешали.