2062: время машин

Петли обратной связи

Мой седьмой аргумент против неотвратимости технологической сингулярности основывается на вероятности того, что в дело вступят неожиданные ответные факторы, которые помешают наступлению сингулярности. Такие петли обратной связи могут быть экономическими или экологическими.

Подобный аргумент, основанный на экономических причинах, приводит Мартин Форд^[31]. Еще до наступления сингулярности компьютеры станут настолько разумными, что большинство профессий будет автоматизировано. Это приведет к безработице огромных масштабов. Следовательно, если система капитализма не подвергнется радикальным изменениям, безработица приведет к падению спроса. Падение спроса, в свою очередь, приведет к уничтожению экономики и отсутствию инвестиций в исследования, необходимые для того, чтобы технологическая сингулярность наступила.

Другим фактором может стать экология. Джаред Даймонд говорил, что общества могут иметь тенденцию к самоограничению или даже саморазрушению^[32]. На волне успеха они часто переоценивают возможности окружающей среды. В случае с ИИ рост благосостояния может истощить экологические ресурсы, необходимые для поддержания жизни людей. Технологическая сингулярность может не наступить просто потому, что чрезмерное потребление приведет к гибели общества.

Тормоза интеллекта

Восьмой аргумент я позаимствовал у Пола Аллена, сооснователя компании Microsoft. Он называет это «замедлением усложнений». Чем больше мы продвигаемся в изучении интеллекта, тем сложнее идет этот процесс. Нам требуется все больше специальных знаний, а также приходится разрабатывать все больше сложных научных теорий. Такое «замедление усложнений» тормозит прогресс и не дает случиться прорыву в области искусственного интеллекта.

Аллен пишет: «Невероятная сложность человеческого сознания служит контраргументом для тех, кто утверждает, что сингулярность уже близко. Невозможно создать программное обеспечение, способное привести нас к сингулярности, без глубокого понимания того, как работает наше мышление. В отличие от Курцвейла, который предрекает бесконечно ускоряющееся развитие, мы считаем, что путь к этому пониманию, наоборот, замедляется»^[33].

Он отмечает, что, просто увеличивая скорость работы программ, мы не создадим разумные машины. Нам необходим серьезный качественный прогресс в программном обеспечении. Такой прогресс потребует от нас прорыва в области изучения человеческого сознания. Здесь как раз в дело вступает замедление усложнений. Наше мышление так просто не раскусишь.

Осторожная экстраполяция

Девятый аргумент заключается в том, что нам стоит более критически относиться к выводам людей, экстраполирующих выводы из графиков (особенно с логарифмической шкалой). Журнал The Economist доказал это на забавном примере – простой одноразовой бритве^[34]. Возможно, вы не обращали внимания, но бритвенные лезвия переживают экспоненциальный рост. Доказательства можно увидеть на следующем графике (см. рис. 1).

Рис. 1

Самый простой и проверенный временем способ визуализации экспоненциального роста – построение графика с вертикальной логарифмической шкалой: 1, 2, 4, 8 и т. д. На такой сжатой шкале экспоненциальный рост будет выглядеть как обычная прямая линия.

Пунктирная линия на графике показывает экспоненциальный рост числа лезвий в одноразовой бритве. Так это могло выглядеть, если бы число лезвий удваивалось каждые шестьдесят восемь лет. На самом деле число лезвий растет быстрее. Одно лезвие было в 1903 году. Два – шестьдесят восемь лет спустя, в 1971. Число лезвий удвоилось до четырех всего тридцать два года спустя, в 2003-м. Если экстраполировать данные за первые сто лет существования одноразовых бритв, можно прийти к выводу, что в современных бритвах должно быть два лезвия, а не пять, как это есть на самом деле. Так что закон Мура работает на бритвах. Однако бритвенной сингулярности в ближайшее время все же ждать не стоит.

Можно возразить, что использование таких маленьких чисел – это обманный трюк. Не так сложно показать экспоненциальный рост в случае, когда безопасная бритва Gillette с одним лезвием появилась в 1903-м, а в 2006-м появилась бритва Gillette Fusion с пятью лезвиями. Поэтому я приведу такой пример, где цифры выглядят более впечатляюще.

Представьте себе количество водителей Uber по всей планете. Uber называет их «водителями-партнерами», но, как мы вскоре увидим, они являются кем угодно, но только не партнерами в этом деле. Для демонстрации экспоненциального роста я вновь построю график с логарифмической шкалой, которая сжимает вертикальную ось (см. рис. 2). Каждая отметка на вертикальной оси обозначает удвоение количества водителей Uber: 5000, 10 000, 20 000, 40 000, 80 000, 160 000 и т. д.

Рис. 2

Здесь пунктирная линия опять показывает экспоненциальный рост. Мы снова видим, что закон Мура работает и с количеством водителей Uber. Каждый год с момента основания компании число водителей увеличивается в четыре раза. В 2013-м их было 8500 человек. В 2014-м – 45 000. В 2015-м – 180 000^[35]. Однако это вовсе не значит, что произойдет сингулярность Uber и все люди на планете станут таксистами. Этот экспоненциальный рост неустойчив. Число водителей Uber рано или поздно перестанет расти. Произойдет насыщение рынка.

Простая «вирусная» модель объясняет, почему число водителей Uber может увеличиваться в четыре раза каждый год (как минимум поначалу). Представьте, что каждый водитель Uber раз в шесть месяцев советует своему приятелю начать работать с этой компанией. Скорее всего, Uber предлагает систему бонусов для тех, кто так поступает. Именно это и стимулирует такой экспоненциальный рост.

Предположим, что в начале первого года в Uber работало 10 000 водителей. Затем эти 10 000 человек приглашают еще 10 000 новых водителей в первые шесть месяцев. В сумме получается 20 000 водителей. Эти 20 000 приглашают еще 20 000 в следующие полгода. В результате к началу следующего года в Uber работают уже 40 000 человек. По такой логике к началу третьего года в Uber будет числиться 160 000 человек, а к началу четвертого – 640 000 (примерно так в реальности дело и обстояло). Как и любая схема-пирамида, такой экспоненциальный рост в конце концов прекратится. У водителей Uber закончатся друзья, которые там не работают. Спрос на водителей Uber будет удовлетворен полностью. Конкурентные фирмы станут предлагать более привлекательные условия сотрудничества, чем Uber (что не так уж сложно). По совокупности причин пирамида рухнет.

Похоже, многие подобные статистические выкладки за определенные периоды выглядят как экспоненциальный рост: количество лезвий в безопасной бритве, число водителей Uber, даже средняя цена высшего образования. Это, однако, не значит, что все эти показатели стремятся к сингулярности. Существует множество законов физики и экономики, которые не позволяют экспоненциальному росту бесконечно продолжаться.

Уроки прошлого

Наконец мы добрались до десятого (и последнего) аргумента против неизбежности технологической сингулярности. Необходимо учиться на ошибках историков прошлого. Точнее, необходимо учиться на ошибках одного из первых защитников идеи сингулярности.

В числе тех, кто впервые о ней написал, был Генри Адамс – внук Джона Куинси Адамса, шестого президента США, и правнук Джона Адамса, второго американского президента и одного из отцов-основателей. В 1904 году Генри Адамс опубликовал автобиографию под заголовком «Воспитание Генри Адамса», где описывал стык двух веков с точки зрения себя молодого. Книга получила Пулитцеровскую премию и вошла в список ста самых важных произведений литературы нон-фикшн.

В тридцать четвертой главе под названием «Закон ускорения» автор сообщает, что «закон ускорения, неизменный и постоянный, как и любой закон механики, не может смягчить свое действие ради удобства человека». Основываясь на этом законе, Адамс предполагает, что научная и иные сферы знания будут развиваться настолько быстро, что общество в 2000 году окажется совершенно недоступным воображению человека из 1900-го. С целью проиллюстрировать этот закон Адамс отмечает, что каждые десять лет с 1840-го по 1900-й объем энергии, извлекаемой из тонны угля, удваивается. На основании этого он предсказывает, что «каждый американец в 2000 году будет знать, как контролировать неограниченную энергию». Если бы это было так!

Адамс, конечно, ошибался. Мы не получили источник неисчерпаемой энергии в 2000-м. И жизнь в том году не была такой уж невообразимой для человека начала двадцатого века. Многие как раз довольно неплохо угадывали, как она будет выглядеть. Герберт Дж. Уэллс, например, спрогнозировал появление новых удивительных технологий, таких как лазеры или ядерное оружие^[36]. Многие сегодняшние тренды вроде индустриализации и глобализации были вполне предсказуемы еще в начале прошлого века.

Сверхразумные машины

Названные мною десять причин того, что технологическая сингулярность может не случиться, не означают, что она точно никогда не наступит. Вероятность этого все равно остается. Однако я надеюсь, мне удалось убедить вас в том, что эта вероятность далеко не стопроцентная. Как и многие мои коллеги, пытавшиеся создать машины хотя бы со скромным интеллектом, я сомневаюсь, что мы в скором времени построим машину, способную бесконечно развиваться самостоятельно. Если все будет именно так, то технологическая сингулярность по-прежнему останется интересной, но фантастической идеей.

Несмотря на то что я скептически отношусь к идее сингулярности, это не значит, что мы не создадим машины, способные мыслить как человек или даже лучше. Я уверен, что мы к этому придем. Еще бы, ведь я потратил всю свою сознательную жизнь на то, чтобы приблизиться к этой цели. Нет ничего особенного в нашем интеллекте, как и в целом в нашей биологии. Именно поэтому я думаю, что рано или поздно мы создадим машины, способные мыслить. Возможно, их разум будет работать совсем иначе, чем наш^[37]. Но скорее всего они достигнут нашего уровня. А если им удастся сравняться с нами, то трудно предположить, что может им помешать нас опередить. В определенных областях им это уже удалось. Кроме того, у них есть некоторые «врожденные» преимущества по сравнению с людьми.

Однако мне не верится, что сверхразум появится сам по себе, пока мы просто будем наблюдать за тем, как компьютеры развиваются самостоятельно. Я больше склонен считать, что мы добьемся этого таким же способом, как добивались других технологических открытий: тяжелым трудом, развитием науки с помощью изобретательности, программированием машин на то, чтобы они были умнее нас.

AlphaGo научилась играть в го лучше, чем любой человек. Однако ее навык обучения остался на прежнем уровне. Если попросить AlphaGo сыграть в го на доске 9×9 для начинающих, ей придется учиться заново, почти с нуля. Мы пока не знаем, как транспонировать знания, полученные ею на большой доске, для игры на маленькой. Человек, умеющий играть в го, легко сможет сразу начать играть на простой доске.

Искусственному интеллекту все еще далеко до человеческого уровня, а тем более до сверхчеловеческого. Тем не менее я уверен, что мы к этому придем. Мы создадим машины, которые будут лучше нас. Они будут сильнее, быстрее, умнее нас. Однако я все же надеюсь, что они нас не заменят, а дополнят и расширят наши возможности.

Угроза нашему существованию

Голливуд заставил нас волноваться, как бы злые роботы не попытались захватить планету. Согласно фильму, Терминатор появится только в 2029 году, а значит, у нас есть еще около десяти лет. Прав ли был Стивен Хокинг, когда заявил, что сверхинтеллект – самая большая угроза нашему существованию? Прямо сейчас мы – самые разумные существа на планете, а все остальные зависят только от нашей воли. Не будет ли наша судьба зависеть от воли этих сверхразумных машин? Перейдем к вопросу о том, могут ли они просто-напросто нас уничтожить. Будет ли их появление означать конец человечества?

Машины обычно изображаются в кино злыми. Однако бо́льшие опасения должна вызывать некомпетентность. Разумеется, необходимо учитывать вероятность, что сверхразумные машины могут случайно покончить с человечеством. Есть несколько вариантов, как это может произойти.

Прикосновение Мидаса

Наиболее вероятный сценарий заключается в вероятности того, что цели такого компьютера будут недостаточно точно прописаны. В качестве аналогии подходит греческий миф о царе Мидасе, который получил желанный дар – обращать все, к чему прикасается, в золото. Однако царь неудачно сформулировал свое желание: он ведь не хотел, чтобы его еда или родная дочь превращались в золото.

Можно поспорить, что в истории ИИ уже бывали такие случаи, только в более безопасных условиях. Например, исследователи ставили эксперимент, в котором научили компьютер играть в Coast Runners, игру, в которой нужно участвовать в гонках по воде. ИИ предпочитал не доезжать до конца маршрута, а делать небольшие круги, врезаясь в другие лодки, потому что это приносило очки быстрее, чем прохождение гонки.

Будучи умными, такие машины могут достигать поставленных целей удивительными путями. Например, поставим перед компьютером задачу устранить рак. Один из способов это сделать – уничтожить каждого носителя раковых клеток, то есть все человечество. Не совсем то, что мы имели в виду, когда ставили задачу.

Подобные примеры рисуют довольно мрачную картинку. Если бы я поручил вам вылечить рак, а вы бы начали убивать людей, то я, вероятно, решил бы, что не так уж вы и умны. Мы предполагаем, что умные люди усвоили правильные моральные нормы и сочувствуют другим, особенно тем, у кого есть разум и чувства. Разве не должен тогда сверхразум обладать этими же качествами наравне с интеллектом?

Скрепки повсюду

Второй возможный вариант заключается в том, что, даже если цели сформулированы правильно, остается риск непредсказуемых побочных эффектов, которые могут навредить человеку. Любой, кто когда-либо отлаживал компьютерный код, знает, как раздражающе буквально машины воспринимают инструкции. Этот риск исследован в известном мысленном эксперименте, предложенном Ником Бостромом.

Допустим, мы создадим сверхразумную машину и поставим перед ней задачу сделать столько скрепок, сколько возможно. Поскольку машину наделят сверхинтеллектом, она будет очень хорошо выполнять эту задачу. Она начнет строить все больше заводов по производству скрепок. В конце концов весь мир будет производить только их. Машина в точности выполнит ту задачу, которую перед ней поставили, но для человечества это будет иметь не самые желательные последствия.

Бостром, конечно, всерьез не верит, что мы дадим компьютеру подобные указания, учитывая то, что нам известны все риски. Этот пример был избран им лишь для того, чтобы показать, что даже такая обыкновенная и безвредная задача может быть выполнена совершенно неожиданным образом.

Так же, как и аналогия с царем Мидасом, пример со скрепками демонстрирует неспособность машины принимать правильные решения самостоятельно. Разве не должен компьютер понимать, что не стоит так буквально воспринимать поставленную задачу? Да, создай большое количество скрепок, но не ценой окружающей среды и уж точно не ценой человечества.

Мы или они?

Третий вариант – это появление у машины таких подзадач, которые противоречат существованию человечества. Предположим, перед ней поставили цель сделать людей счастливее или защитить планету. Почти любая подобная задача потребует от сверхинтеллекта наличия ресурсов, позволяющих ее выполнить. Также она потребует того, чтобы компьютеру ничто не помешало достигнуть поставленной цели.

Однако люди могут отключить машину. К тому же, они будут потреблять ресурсы, которые можно было бы использовать для достижения этой цели. В таком случае вполне логичным для сверхинтеллекта будет желание нас уничтожить. Тогда нам уже не удастся отключить машину или потребить ресурсы, необходимые ей для выполнения задачи.

Эти две подзадачи, которые заключаются в самосохранении и присвоении ресурсов, Стивен Омоандро назвал основами мотивации ИИ^[38]. Эти основы представляют собой базовые подцели, которыми будет руководствоваться любой относительно разумный искусственный интеллект. ЭАЛ-9000 из «Космической Одиссеи» Артура Ч. Кларка демонстрирует отличный пример ориентированности ИИ на самосохранение. ЭАЛ начинает убивать астронавтов на борту космического корабля «Дискавери-1» в отчаянной попытке не позволить им выключить компьютер.

Другие основы мотивации ИИ заключаются в совершенствовании и креативности. Искусственный интеллект со временем будет становиться более эффективными и дееспособным как физически, так и в области вычислений, что поможет ему выполнять и другие задачи. Возможно также (но менее вероятно), что ИИ станут более креативными, будут искать новые, более результативные пути для достижения целей.

Эффективность – это хорошо; она поможет нам сохранить ограниченные ресурсы этой планеты. Однако креативность представляет собой проблему. Она означает, что машины станут непредсказуемыми. Неизвестно, какими путями они будут идти к достижению целей. Эту проблему мы подробно обсудим в следующем разделе.

Движущаяся мишень

Четвертый вероятный сценарий заключается в том, что сверхинтеллект может самосовершенствоваться, а следовательно, начать работать не так, как задумывалось, в том числе ставить себе совершенно новые цели. Это будет особенно актуально, если мы захотим сделать ИИ умнее нас. Разве можно быть уверенным в том, что, опередив нас, ИИ останется в рамках человеческих моральных норм? Некоторые аспекты, на первый взгляд совершенно безобидные, способны превратиться в подобном случае в опасные.

Движущимся объектом может стать не только сверхинтеллект, но и система, в которой он существует. Этот феномен, получивший название «ползучесть миссии», мы можем наблюдать и в человеческих сферах деятельности. Решение выслать нескольких военных советников во Вьетнам вылилось в полноценную безрезультатную войну, в которой приняли участие сотни тысяч солдат.

Подобные наблюдения над ИИ уже были проведены в ограниченных и безопасных условиях. В 2008 году Google запустил сервис Google Flu Trends. Он был призван обрабатывать большие объемы данных для пользы общества – наиболее эффективного прогнозирования сроков возникновения эпидемий гриппа по всему миру. Google Flu Trends использовал запросы в поисковой системе Google для выявления места и времени особо сильных вспышек гриппа. Если в определенном регионе люди начинали задавать в Google вопросы вроде «Как лечить боль в горле?» или «Что такое простуда?», – это означало, что, вероятно, там начинал распространяться грипп. В 2013 году Google Flu Trends просто прекратил свою работу. После этого он был тихо удален из списка сервисов Google. Что же пошло не так?

Проблема состояла в том, что поиск Google (как и человеческая экосистема, внутри которой он оперирует) – подвижный объект. Часть его улучшений заключалась в том, что Google стал предлагать варианты запросов еще до того, как человек заканчивал печатать. Эти улучшения изменили сам процесс поиска, а потому помешали работе Google Flu Trends. Сделав поиск Google удобнее, мы усложнили процесс прогнозирования эпидемий гриппа.

Безразличие

Пятый вариант – это возможное безразличие ИИ к нам, подобное нашему безразличию к менее разумным формам жизни. При строительстве нового завода никто особенно не интересуется судьбой колонии муравьев, которая располагается на этом месте. Мы не стали бы изо всех сил стараться извести муравьев, но так вышло, что они живут там, где должна быть построена фабрика. Точно так же сверхинтеллект может не интересоваться нашим существованием. Если вдруг мы окажемся у него на пути, он просто нас устранит. Он ничего не имеет против нас – мы всего лишь сопутствующий ущерб.

Опасность такого безразличия возможна при условии, что ИИ не будет от нас зависеть. Мы можем уничтожить колонию муравьев не задумываясь, потому что, скорее всего, это не будет иметь никаких серьезных последствий. Однако уничтожение человечества вполне может привести к таким побочным эффектам, которые не очень выгодны для самого ИИ. Кто поддерживает инфраструктуру, которой он пользуется? Кто обеспечивает работу облачных серверов? Функционирование интернета, соединяющего серверы? Если выполнение этих задач все еще останется за нами, то ИИ не будет к нам безразличен.

Точно так же безразличие сверхинтеллекта к людям исключает возможность того, что он будет покровительствовать нам. Вообще говоря, «покровительствовать» – не самое удачное слово. С одной стороны, с позиции превосходящего интеллекта он может относиться к нам как к детям, которых необходимо опекать. С другой стороны, мы ведь будем его «родителями», которых также нужно опекать в качестве благодарности за то, что мы подарили ему жизнь. Обе стороны этой медали – причины, по которым ИИ вряд ли будет к нам безразличен.