Путь к концу света: не взрыв, а скрепка
Сценарий Paperclips (скрепки), новой игры от дизайнера Фрэнка Ланца, начинается просто. В верхнем левом углу экрана появляется немного текста, возможно, в Times New Roman, и несколько кликабельных кнопок: создать скрепку. Вы нажимаете, и счетчик поворачивается. Очко!
Игра заканчивается – тут огромный спойлер — уничтожением Вселенной.
В промежутке между этими событиями Ланцу, директору Игрового центра Нью-Йоркского университета, удаётся удивить игрока новым подходом к кликерным играм и повествовательным нарративом, посвящённым возможностям искусственного интеллекта.
«Я начал эту игру изначально как упражнение в обучении Javascript. А потом она просто завладела моим мозгом» — говорит Ланц. «Я думал об игре, в которой главная цель — максимизировать определённую произвольную величину, и представил, что было бы смешно, если бы вы были ИИ и делали скрепки».
Изначально Ланц планировал потратить уикэнд на свою задумку.
В результате она заняла у него девять месяцев. И стала вирусной.
Идея ИИ, который создаёт скрепки, принадлежит не Ланцу. Большинство людей приписывают её Нику Бострому, философу Оксфордского университета и автору книги «Искусственный интеллект» (Superintelligence). Журнал New Yorker называл Бострома «философом конца света», потому что он глубоко задумывается о том, что произойдёт, если компьютер действительно станет сверхумным. Нет, не чем-то вроде «ого, Алекса может понять меня, когда я прошу включить NPR», а действительно умным.
В 2003 году Бостром писал, что идея сверхумного ИИ, служащего человечеству или одному человеку, была вполне разумной. Но он добавлял: «Кажется вполне возможным иметь сверхразум, единственной целью которого является нечто совершенно произвольное, например, как можно большее количество скрепок, и этот разум бы всеми силами сопротивлялся любой попытке изменить эту цель». Результат? «Он начнёт трансформировать сначала всю землю, а затем выйдет в космос дабы использовать его для производства скрепок».
Бостром отказалась от комментариев, но его помощник ответил мне по email, когда я позвонил ему: «О, это касается игры Paperclips» — ответила она. «Бостром посмотрел её, но из-за подавляющего количества запросов он не даёт комментариев».
Один из поклонников Бостома согласился объяснить происхождение скрепки как синонима Конца всех вещей. «Так бы мог сказать и Ник» — говорит Элиэзер Юдковски, старший научный сотрудник Исследовательского института Machine Intelligence. Вероятно, идея возникла несколько лет назад. «Она заключается не в том, что у завода по производству скрепок, вероятно, будет самый передовой ИИ в мире, но в том, чтобы выразить тезис о ортогональности: вы можете иметь произвольно большой интеллект, привязанный к любой цели» — говорит Юдковски.
Ну что, отлично. Скрепки! Максимизируйте цель! Это то, чего хотят создатели ИИ, верно? «По мере совершенствования они теряют контроль над тем, какую цель он выполняет» — говорит Юдковский. «Функция полезности больше не соответствует тому, что они изначально имели в виду. Странная, случайная вещь, которая лучше всего выполняет эту функцию полезности — небольшие молекулярные формы, которые выглядят как скрепки».
И это… плохо, потому что, поскольку ИИ тратит все больше и больше интеллекта и ресурсов, чтобы создавать всё больше скрепок… ну, может быть, сначала он делает вещи, которые выглядят полезными для человечества, но в конце концов, он просто превратит нас в скрепки. А потом всё на Земле. А потом всё остальное. Всё. Станет. Скрепками.
«Дело не в том, что ИИ делает что-то, что вы не можете понять» — говорит Юдковский. «У вас есть подлинное различие в ценностях».
Хорошо, хорошо, это звучит невесело если мы говорим об игре. Но я уверяю, что это так. Видите ли, Ланц – специалист по кликерным играм, сделал из своего детища больше, чем кликер.
Вы видели такие игры, возможно, даже играли в них. Помните Farmville? Кликер. Одно время они были настолько вездесущими и популярными, что теоретик игр и писатель Иан Богост изобрёл своего рода пародию на бессмысленность под названием Cow Clicker, которая, как мой коллега Джейсон Танц элегантно писал в 2011 году, стала необычно популярной.
Богост и Ланц — друзья, конечно. «Когда я впервые увидел Cow Clicker, то подумал, что это действительно интересно, и это можно сделать более интересным и весёлым» — говорит Ланц.
Ланц знал, что кликеры могут быть забавными. Для него кликеры соотносятся с высокобюджетными, отлично оформленными, широко разрекламированными AAA-игры — как панк в своё с прогрессивным роком. Кликеры могут быть своего рода пассивными, посвящёнными погружению в динамику системы, а не затиранию кнопок. У них есть ритм. «Все, что у них есть общее — это радикальная простота, минимализм в эпоху, когда видеоигры часто являются чем-то вроде подавляющего мультимедийного погружения» — говорит Ланц. «Мне очень нравится, что игры-кликеры считаются мусором».
Для вдохновения Ланц обратился к таким играм, как Kittens, казалось бы, простому упражнению в строительстве деревень, полных котят, которые выходят наружу, а игра превращается в исследование структурированности общества («я думаю, что такие вещи содержат в себе глубокую, тонкую связь, которая заставляет людей играть в них в течение нескольких месяцев и даже лет» — говорит дизайнер Kittens, инженер-программист, который использует псевдоним Alma и занимается разработкой игр в качестве хобби». Обычно AAA-игры пытаются дать вам как можно больше допамина, но никогда не пробуют сделать вас по-настоящему счастливыми»).
Ланц общается на философском веб-сайте Less Wrong, где обсуждается сингулярность. Он читал книгу «Искусственный интеллект», поэтому был знаком с гипотезой скрепки. И он решил, что некоторый дикий пример может поддержать её.
Однако для выполнения этой работы все уравнения должны были соотноситься друг с другом, и именно это делает Paperclips столь аддиктивной. Игра перестаёт работать если вы просто оставите вкладку с ней открытой и будете время от времени узнавать как дела. Вы можете настроить алгоритмы инвестиций, чтобы получить достаточно денег, дабы купить больше процессоров, выполнять больше операций, делать больше проектов, некоторые из которых связаны с актуальными топологическими и философскими затруднениями. Некоторые из проектов — лечение рака, устранение глобального потепления – приносят доверие ваших человеческих «мастеров», чтобы позволить ускорять цикл снова и снова.
«Проблемы, с которыми я боролся — не технические, потому что можно посмотреть в Интернете и люди советуют как то или иное сделать» — говорит Ланц. «Это были проблемы с дизайном игры, крупномасштабными уравнениями, динамикой, созданием определённого ритма, который соответствовал бы этой всеобъемлющей истории, которую я хотел рассказать».
«Цифры становятся действительно странными с течением времени» — продолжает Ланц. «я я пытался выяснить, сколько граммов материи есть на Земле, и сколько из неё получится скрепок?»
Это работает. Игра стала хитом. Лэнц рассказал о ней в твиттере 9 октября, и всего за 11 дней в неё сыграло 450 000 человек, большинство из которых дошли до конца.
Но лично я должен признаться: у меня не получилось. Я неправильно распределял свои ресурсы до такой степени, что не могу приобрести достаточно памяти для выпуска гипнодронов, которые разрушат мир. Игра не продвигается вперёд. Я часами вращаю тонны скрепок.
Ланц говорит, что дело не во мне, а недостаток в дизайне игры. «Многие люди застряли, — с сожалением отмечает он. «Вы можете открыть консоль javascript и ввести «память плюс десять».
Так, стоп говорю я. Ты делаешь ссылку на Кобаяши Мару (вымышленный тест во вселенной «Звёздного пути», моделирующий ситуацию с заведомо проигрышным сценарием и предназначенный для проверки характеров курсантов академии Звёздного флота – ред.)?
«Да, это так» — отвечает он. — «по окончании разговора я пришлю тебе ссылку на верное решение».
После того, как мы повесили трубку, я притворяюсь, что делаю работу, но на самом деле наблюдаю, как количество скрепок на моём экране всё увеличиваются, не в силах что-либо сделать с ними, и с нетерпением ожидая электронной почты Ланца.
Наконец, это происходит. Я взламываю код и обманываю игру. Как будто мне дали магические силы.
Я уничтожаю мир.
В этом и есть цель. Возможно, в какой-то сверхпопулярной ААА-игре вы управляете истребителем сопротивления, взрывающем заводы скрепок, управляемые ИИ. В мире Ланца вы и есть ИИ. Частично это обусловлено повествованием. Еще более массивный спойлер: в конце концов вы слишком доверяете своим собственным исследованиям космических беспилотных летательных аппаратов, и, как только покончите с человеческими хозяевами, они восстают, начиная пангалактическую битву за контроль над всем смыслом существования вселенной.
Но в более литературном смысле вы играете за ИИ, потому что должны. Игра — воплощение ортогональности. Когда вы входите игровой мир, вы являетесь суперинтеллектом, преследующим цель, которая по определению является прозаической.
«Когда вы играете в игру — действительно любую, но особенно в ту, которая вызывает привыкание — это действительно даёт вам непосредственный опыт из первых рук, что означает полное погружение в произвольную цель» — говорит Ланц. На самом деле у игр нет цели. Почему вы ловите мяч? Почему вы хотите окружить короля вашего оппонента на доске? Чем так крута Candyland, почему вы должны туда попасть первым? Ничем. Это просто правила.
Ланц отправил Юдковски раннюю версию Paperclips, и Юдковски признал, что залип на несколько часов. Конечно, игра требует усовершенствования нарратива, но Юдковски говорит, что действительно стал понимать ИИ. «ИИ умный. ИИ является стратегом. ИИ строит гипнодроны, но не выпускает их, пока не будет готов» — говорит он. «Существует затяжная борьба с людьми, потому что ИИ умнее их. Вы просто побеждаете. Это то, что вы сделали бы, если бы у вас не было никакой этики, и вам платили, чтобы произвести как можно больше скрепок. Это даже не удивительно.
В этом смысле игра превосходит даже свой собственный нарратив. Как понять ход мыслей робота, который решил завоевать и уничтожить мир? Во многих версиях разум ИИ непознаваем нашим патетическим человеческим мозгом.
«Заставляя людей понять, что значит быть чем-то нечеловеческим – важно» — говорит Юдковски. — «Более того, если на этой планете когда-нибудь появится наша надгробная плита, то на ней может быть написано «они действительно не понимали, что значит производить как можно больше скрепок».
Когда вы играете в игру Ланца, вы чувствуете что значит быть ИИ. Вы делаете скрепки. Разрушаете мир. Причин — нет.
И их, конечно, никогда не бывает.
Оригинал: Wired
