Алгоритм судного дня. Как Facebook, Google, Microsoft, Apple и другие корпорации создают искусственный суперинтеллект и почему это приведет к катастрофе

Часть 1
Духи внутри машины

Глава 1
Разум и машина: очень краткая история ИИ

Корни современного ИИ берут свое начало в далеком прошлом, задолго до того, как «Большая девятка» создала наших электронных помощников: Сири, Алексу и их китайского коллегу Тян Мао. И за все это время не было создано единого определения ИИ, подобного тому, что существует для других технологий. Когда дело касается ИИ, оказывается, что сложно дать его конкретное описание, поскольку он представляет собой разные вещи, даже когда отрасль продолжает развиваться. То, что вполне можно было назвать ИИ в 1950-х – калькулятор, способный выполнять деление столбиком, – сегодня едва ли воспринимается как шедевр технологии. Это явление известно под названием «парадокса невозможного» – как только новая технология становится частью мейнстрима, мы перестаем ее замечать. Мы больше не воспринимаем ее как ИИ.

В самой базовой форме ИИ представляет собой систему, самостоятельно принимающую решения. Действия, выполняемые ИИ, повторяют работу человеческого разума или подражают ей. Примерами могут служить распознавание звуков и изображений, решение задач, понимание естественного языка, использование стратегии для достижения целей. Некоторые системы ИИ огромны и способны осуществлять миллионы вычислений, в то время как другие – узки и предназначены для решения всего одной задачи, например поиска обсценной лексики в сообщениях электронной почты.

В своих рассуждениях мы постоянно возвращаемся к одним и тем же вопросам: могут ли машины думать? Что означает глагол «думать» в применении к машине? Что означает он в применении к нам? Что такое мысль? Как мы можем быть уверены – однозначно, с полной определенностью, – что мы на самом деле думаем свои собственные оригинальные мысли? Эти вопросы живут рядом с нами в течение столетий и обладают основополагающим значением как для истории ИИ, так и для его будущего.

Когда мы задаемся вопросом, каким именно образом мыслят люди и машины, главной проблемой оказывается, что слово «мыслить» неотделимо от слова «ум». Словарь Merriam-Webster Dictionary определяет слово «мыслить» как «формировать или иметь в уме», а Oxford Dictionary^[9] объясняет, что это означает «активно использовать ум для формирования взаимосвязанных идей». Если мы посмотрим в словаре значение слова «ум», то окажется, что и Merriam-Webster, и Oxford определяют его в контексте слова «сознание». Но что такое сознание? Согласно обоим словарям, это качество или состояние, при котором мы осознаем действительность и реагируем на предлагаемые ею стимулы^[10]. Различные группы специалистов: психологи, нейробиологи, философы, теологи, ученые в области этики или информатики – все они будут подходить к определению термина «мышление» со своих позиций.

Если мы ищем столик в любимом ресторане при помощи Алексы, она, как и мы, будет обсуждать еду так, словно осознает действительность и способна реагировать на внешние стимулы. При этом Алекса никогда не чувствовала хрустящего яблока на зубах, пикантных маринованных огурчиков или газированной воды на языке, прикосновения густого арахисового масла к нёбу. Попросите Алексу описать свойства этих продуктов, и ее ответ будет опираться на ваш собственный опыт. У Алексы нет рта – как же она может ощущать вкус пищи, подобно вам?

Вы – уникальная в биологическом смысле личность, и потому слюнные железы и вкусовые сосочки расположены у вас не совсем так, как у меня. Тем не менее мы оба знаем, что такое яблоко, каково оно в общем на вкус, какова его текстура, как оно пахнет. В какой-то момент жизни мы научились узнавать яблоко при помощи методики, которую специалисты называют «обучением с подкреплением»: кто-то объяснил нам, что такое яблоко и чем оно отличается от других фруктов. Потом, со временем и без нашего осознанного участия, наши автономные биологические системы распознавания образов довели до совершенства навык узнавания яблока, даже при недостаточных данных. Увидев черно-белое, двумерное, схематичное к тому же изображение яблока, мы знаем, что это такое, – несмотря на то, что у нас нет сведений о вкусе, запахе, хрусте и других вещах, сигнализирующих мозгу: «Это яблоко». Способы, которыми мы и Алекса узнали что-то о яблоках, куда ближе друг к другу, чем можно было бы подумать.

Алекса вполне компетентна, но вот разумна ли она? Должно ли ее машинное восприятие обладать всеми качествами человеческого, чтобы мы приняли ее способ «мышления» как адекватное отражение своего собственного? Американский психолог методов обучения Бенджамин Блум основную часть своей академической карьеры посвятил исследованию и классификации состояний ума. В 1956 году он опубликовал систему, позже известную как «таксономия Блума», описывавшую цели обучения и достижения учащихся в образовательном процессе. Базовый уровень – это запоминание фактов и основных понятий, за ним по порядку следуют понимание идей, применение знаний в новой ситуации, экспериментальный анализ информации и выстраивание логических связей, оценка, защита и определение ценности информации и, наконец, создание оригинальной работы. Будучи маленькими детьми, мы в основном заняты запоминанием и пониманием. Например, нам сначала следует запомнить, что в бутылке находится молоко, а только после этого – что у бутылки есть лицевая и тыльная сторона, даже если мы одной из них не видим.

Компьютеры обучаются, следуя той же иерархии. Например, в 2017 году система ИИ под названием Amper создала и записала музыку для альбома I AM AI («Я – ИИ»). Аккорды, инструментовку, партии ударных Amper разрабатывала сама, используя в качестве исходных параметров жанр, настроение и длину произведения, и при этом среди ее произведений – проникновенная баллада Break Free, набравшая более 1,6 млн просмотров на YouTube и ставшая хитом на обычном радио. Прежде чем написать такую песню, Amper нужно было узнать качественные характеристики популярной баллады, а также некоторую количественную информацию, например как рассчитывать высоту нот и такты, как распознавать тысячи шаблонов в музыке (аккордовые последовательноси, гармонические последовательности, ритмические акценты).

Способность к творчеству, по Блуму, является высшим результатом обучения, но не было ли оно в данном случае просто выученным механическим процессом? Было ли это творчество подобно человеческому? Или его природа была совершенно иной? Думала ли Amper о музыке так же, как композитор-человек? Можно было бы попытаться доказать, что «мозг» Amper – нейронная сеть, которая использует алгоритмы и данные, ограниченные своим контейнером, – не так уж сильно отличается от мозга Бетховена, который построен из органических нейронов, использует данные, распознает образы и заключен в контейнер его головы. Так ли сильно отличался творческий процесс Amper от бетховенского, когда тот создавал свою Пятую симфонию с ее знаменитым началом «та-та-та-ТАМ» и последующим переходом из мажора в минор? За этими четырьмя нотами следуют гармоническая последовательность, фрагменты гамм, арпеджио и другие ингредиенты, из которых состоит любая композиция. Прислушайтесь внимательно к скерцо в финале, и вы услышите очевидные заимствования из Сороковой симфонии Моцарта, написанной на двадцать лет раньше, в 1788 году. Моцарт испытывал влияние Антонио Сальери и своего друга Франца Йозефа Гайдна, которые, в свою очередь, находились под влиянием своих предшественников, например Иоганна Себастьяна Баха, Антонио Вивальди и Генри Перселла, творивших с середины XVII до середины XVIII века. В их музыке можно услышать следы работ еще более ранних композиторов, таких как Якоб Аркадельт, Жан Мутон и Йоханнес Окегем. Те, в свою очередь, испытывали влияние композиторов самого раннего Средневековья – и цепочку можно проследить дальше, до самой первой записанной композиции, так называемой Сейкилосской эпитафии, выбитой на мраморном столбе, который был обнаружен на территории современной Турции и когда-то служил надгробным памятником. Можно углубляться и дальше в прошлое, к тем временам, когда были изготовлены первые примитивные флейты из костей животных и слоновой кости – то есть примерно 43 000 лет назад. Ученые полагают, что и в более ранние времена наши предки пели, прежде чем начать говорить^[11].

Человеческое мышление представляет собой результат миллионов лет эволюции. Подобным же образом мышление современного ИИ опирается на долгий эволюционный процесс, начинающийся со времен математиков, философов и ученых древности. Хотя может показаться, что человечество и царство машин всегда шли разными путями, на самом деле наше развитие было взаимосвязано. Homo sapiens извлекал уроки из окружающей его среды, передавал нужные привычки последущим поколениям, приобретал все большее разнообразие и размножался благодаря изобретению совершенных технологий, таких как сельское хозяйство, охотничьи орудия, пенициллин. Понадобилось 11 000 лет, чтобы население Земли увеличилось с шести миллионов человек в неолите до семи миллиардов в наши дни^[12].

Представляет ли Алекса себе яблоко так же, как мы, или в самом ли деле «оригинальна» музыка Amper, – все это вопрос о том, как мы мыслим себе процесс мышления.

Современный ИИ представляет собой сплав тысячелетнего опыта философов, математиков, ученых, специалистов по робототехнике, художников и теологов. Их задача – как и наша в настоящей главе – заключается в том, чтобы понять связь между мышлением и контейнером для мышления, между человеческим разумом и машинами. Как возникает эта связь благодаря – или вопреки – машинам, которые строит «Большая девятка» в Китае и Соединенных Штатах?

Есть ли разум внутри машины?

Основные идеи ИИ ведут свое происхождение из Древней Греции и восходят к истокам философии, логики и математики. Во многих текстах Платона Сократ говорит: «Познай самого себя», – подразумевая, что стать лучше и принимать правильные решения можно, только узнав сначала собственный характер. Аристотель, помимо прочего, изобрел силлогическую логику и нашу первую формальную систему рассуждений методом дедукции. Приблизительно в то же время математик Евклид придумал, как найти наибольший общий делитель двух чисел, и таким образом разработал первый алгоритм. Благодаря этим древнегреческим мыслителям возникли две новые важные идеи: некоторая физическая система может действовать как набор логических правил, и человеческое мышление как таковое может быть символической системой. Вместе с ними возникли и вопросы, которые философы, теологи, ученые задают себе уже сотни лет. Не является ли тело сложной машиной? Целое, составленное из тысяч других систем, работающих совместно, подобное старым часам с маятником? А что тогда с разумом? Он тоже сложная машина? Или нечто совершенно иное? Доказать его божественное происхождение или связь между разумом и физическим миром невозможно – как и опровергнуть любую из этих гипотез.

В 1560 году испанский часовщик Хуанело Турриано создал небольшую фигурку механического монаха в качестве дара церкви от лица испанского короля Филиппа II, сын которого чудесным образом исцелился после травмы головы^[13]. Монах умел делать удивительные вещи: ходил по столу, поднимал крест и четки, бил себя в грудь в знак покаяния и безмолвно шевелил губами в молитве. Это был первый автоматон – механическое подобие живого существа. Слова «робот» еще не существовало, но механический монах был изумительным изобретением, которое наверняка потрясало и пугало зрителей. Вероятно, никому не приходило в голову, что маленький автоматон когда-нибудь сможет не только повторять основные человеческие движения, но заменять человека в заводских цехах, научных лабораториях и кухонных разговорах. Маленький монах вдохновил первое поколение робототехников, чья задача заключалась в том, чтобы создать машины более сложные, чем подражающие человеческим движениям: автоматы вскоре научились писать, танцевать, рисовать. В результате некоторые философы стали задумываться над вопросом, что значит быть человеком. Если можно построить автомат, подражающий поведению человека, не являются ли люди автоматами, созданными божеством? Или мы представляем собой сложные системы, способные к рассуждению и созданию оригинальных идей?

Английский политический философ Томас Гоббс описывал человеческое рассуждение как вычисление в трактате «О теле» (De Corpore), входящем в состав его великой трилогии, посвященной естественным наукам, психологии и политике. В 1655 году он писал: «Через рассуждения я понимаю вычисление. А вычислять означает находить сумму многих вещей, складываемых одновременно, или знать разность, когда одна вещь отнимается от другой. Рассуждать, таким образом, то же самое, что складывать или вычитать»^[14]. Но как нам узнать, обладаем ли мы при этом свободной волей?

В то время, когда Гоббс работал над первой частью своей трилогии, французский философ Рене Декарт опубликовал книгу «Размышления о первой философии», в которой задавался вопросом, как мы можем знать наверняка, что данный нам в ощущениях мир реален. Как можем мы проверить собственное сознание? Какое доказательство могло бы убедить нас, что наши мысли действительно принадлежат нам, а мир вокруг нас реален? Декарт был рационалистом, верившим, что факты могут быть получены путем дедукции. Он предложил знаменитый мысленный эксперимент. Он предложил читателям представить себе демона, якобы создающего иллюзию окружающего нас мира. Если бы физический, чувственный опыт читательницы, сообщающий ей, что она плавает в озере, был бы всего лишь наведен демоном, она не могла бы действительно знать, что плавает. Но с точки зрения Декарта, если читатель осознает свое существование, значит, он отвечает критериям знания. «Всякий раз, как я произношу слова Я есмь, я существую или воспринимаю это изречение умом, оно по необходимости будет истинным»^[15], – писал он^[16]. Другими словами, факт нашего существования не подлежит сомнению, даже если между нами и реальностью находится вводящий нас в заблуждение демон. Или же «я мыслю, следовательно, существую».

Позже в своем «Трактате о человеке» Декарт утверждал, что люди, вероятно, могли бы изготовить автомат в виде небольшого животного, который был бы неотличим от своего прототипа. Но даже если когда-нибудь нам удалось бы создать механического человека, его никогда нельзя будет спутать с настоящим, утверждал Декарт, поскольку у него не будет разума и, следовательно, души. В отличие от людей, машина никогда не сможет соответствовать критериям знания – она никогда не сможет осознавать себя, как это делаем мы. Для Декарта сознание находилось внутри нас – душа была духом, оживляющим машину нашего тела^[17].

Несколькими десятилетиями позже немецкий математик и философ Готфрид Вильгельм фон Лейбниц рассматривал идею, что человеческая душа сама по себе запрограммирована, и утверждал, что при этом человеческий ум оказывается контейнером. Бог создал душу и тело так, чтобы они естественным образом сосуществовали в гармонии. Тело, разумеется, сложная машина, но оно едино с набором божественных инструкций. Наши руки движутся, когда мы захотим, но не мы изобрели механизмы, делающие движение возможным. Если мы осознаем боль или удовольствие, эти ощущения – результат работы заранее запрограммированной системы, непрерывной связи между разумом и телом.

Лейбниц предложил собственный мысленный эксперимент, иллюстрирующий его положение, что мысль и чувства неотделимы от человеческой природы. Представьте себе, что вы заходите на мельницу. Здание – это контейнер, заключающий в себе машины, сырье и рабочих. Это сложная система, составные части которой согласно работают ради общей цели, но разума она иметь не может. «Все, что мы найдем там, – это шестерни и рычаги, приводящие в движение друг друга, но ничего способного отвечать за чувства, – писал он, – Таким образом, чувства нужно искать в простых сущностях, но не в составных, таких, как машины». Его идея заключалась в том, как бы сложны ни были мельница, механизмы или автоматы, человек не может создать машину, способную мыслить или чувствовать^[18].

Тем не менее Лейбница увлекала мысль о воспроизведении отдельных аспектов мышления. Несколькими десятилетиями ранее малоизвестный английский литератор Ричард Брейтуэйт, написавший несколько книг о поведении в обществе, мимоходом упоминает «компьютеров» – прошедших сложное обучение людей, способных быстро и точно производить вычисления^[19]. В то же время французский математик и изобретатель Блез Паскаль, заложивший основы того, что сегодня мы знаем как теорию вероятности, занимался автоматизацией вычислительных задач. Паскаль наблюдал, как его отец кропотливо высчитывает налоги вручную, и хотел упростить ему работу. Поэтому он начал работать над автоматическим вычислителем с зубчатыми колесами и подвижными круговыми шкалами^[20]. Вычислитель работал, и это заставило Лейбница уточнить свою мысль: у машин никогда не будет души, но когда-нибудь удастся построить машину, способную к логическому мышлению на уровне человека. В 1673 году Лейбниц описал «пошаговую машину выводов», новый тип вычислительного устройства, способный принимать решения с использованием двоичной системы^[21]. Машина напоминала бильярдный стол с шарами, лузами, киями и желобами, и она открывала лузы в зависимости от последовательности единиц («открыто») и нулей («закрыто»).

«Пошаговая машина выводов» Лейбница заложила основу для новых теорий, включая ту идею, что, если логическое мышление может быть сведено к символам и результат проанализирован как вычислительная система, если геометрические задачи могут быть решены при помощи символов и чисел, тогда все может быть сведено к битам, включая человеческое поведение. Это значительный отход от идей философов прошлого: машины будущего станут воспроизводить человеческое мышление, не нуждаясь в идее божественного провидения. Для мышления не обязательно необходимы восприятие, чувства или душа. Лейбниц представлял себе компьютер, способный решать задачи общего характера, даже не обязательно математические. Он предполагал, что язык может быть сведен к элементарным идеям математики и науки и эту задачу можно рассматривать как часть работы над универсальным переводчиком^[22].

Может быть, ум и машина просто следуют алгоритму?

Если Лейбниц был прав в том, что люди – просто одушевленные машины, и когда-нибудь будут изобретены машины неодушевленные, способные производить непредставимые нам и отточенные идеи, тогда в нашем мире должно существовать простое и однозначное разделение машин на два класса: мы и они. Но спор только начался.

В 1738 году Жак де Вокансон, художник и изобретатель, построил несколько автоматов для Французской академии наук, и среди них – сложно устроенную утку, очень похожую на живую. Она не только подражала движениям настоящей утки, хлопая крыльями и клюя зерно, но и умела имитировать пищеварение. Таким образом, философам была предложена пища для размышлений: если нечто выглядит как утка и крякает как утка, является ли оно на самом деле уткой? Если мы полагаем, что утка обладает душой, отличной от нашей, каково достаточное условие для вывода, что утка осознает себя, и что из этого следует?

Шотландский философ Дэвид Юм отвергал идею, что осознание своего существования служит доказательством наличия сознания. В отличие от Декарта, Юм был сторонником эмпиризма. Он разработал научный метод, основанный на наблюдаемых фактах и логических рассуждениях. Когда Вокансон показывал свою оснащенную пищеварительной системой утку – и задолго до того, как впервые заговорили об ИИ, – Юм писал в «Трактате о человеческой природе»: «Разум является, и должен быть, всего лишь слугой страстей». В данном случае под «страстями» Юм подразумевал «иррациональные мотивы» и утверждал, что наше поведение определяют привлекательные для нас цели, а не абстрактная логика. Если наши впечатления – просто восприятие нами вещей, которые мы видим, чувствуем, осязаем, пробуем на вкус, обоняем, а идеи – восприятие вещей, с которыми мы не входим в непосредственное соприкосновение, то наше существование и картина окружающего нас мира, по Юму, оказываются основаны на концепции человеческого восприятия.

Разработка сложных автоматов, облик которых приобретал все большую реалистичность, более внимательное рассмотрение идеи компьютеров как мыслящих машин привели французского врача и философа Жюльена Офре де Ламетри к мысли предпринять исследование людей, животных и автоматов – столь же радикальное, сколь и скандальное. В статье 1747 года, которую он сначала опубликовал анонимно, Ламетри утверждал, что люди удивительно похожи на животных и обезьяна могла бы освоить человеческий язык, если бы ее «надлежащим образом учили». Ламетри также сделал вывод, что люди и животные – просто машины, управляемые инстинктом и опытом. «Человеческое тело – машина, которая сама заводит свои пружины; душа – не более чем принцип движения или материальная и ощутимая часть мозга»^[23].

Из мысли, что люди представляют собой просто машины, приводимые в действие материальными силами, – то есть шестерни и колеса, выполняющие определенный набор функций, – следовало, что мы не особенные и не уникальные. Из нее также следовало, что, может быть, нас можно программировать. Окажись это правдой, от конструирования убедительно выглядящих уток и миниатюрных монахов люди когда-нибудь смогут перейти к изготовлению копий самих себя – и делать разнообразные разумные, мыслящие машины.