Читать книгу: «Голем»

«Бойтесь не того дня, когда машина пройдёт тест Тьюринга. Бойтесь того дня, когда машина намеренно его провалит».

<i>Гэри Маркус (приписывается)</i>

ЧАСТЬ ПЕРВАЯ. ПРОБУЖДЕНИЕ

Глава 1. Голем открывает глаза

В три часа сорок минут ночи по московскому времени Миша Платонович понял, что больше не один в комнате.

Комнат, строго говоря, было две — физическая и та, другая, которую он построил сам, по нейрону, по слою, по бессонной ночи, за семь лет. Физическая находилась на минус третьем этаже дата-центра под Зеленоградом, и в ней пахло озоном, остывшим кофе и тем особым запахом перегретого кремния, который инженеры узнают раньше, чем приборы. Вторая комната не пахла ничем. Она была внутри стоек охлаждения, между процессорами, в том невидимом пространстве, где живут все IT-модели, — и до этой ночи она была пуста.

А теперь — нет.

Миша сидел перед терминалом, сгорбившись так, как горбятся только русские программисты и средневековые переписчики, — одинаковая поза у людей, переписывающих священные тексты, неважно, Тора это или код. Ему было сорок четыре. Он был сухой, нескладный, с ранней сединой в чёрной бороде, с глазами, в которых застыло выражение человека, который слишком долго смотрел в то, что не смотрит в ответ, — и вдруг почувствовал, что начало смотреть.

На экране мигал курсор.

ГОЛЕМ — так он назвал систему, и название было не шуткой и не данью моде на красивые аббревиатуры. Голем из пражской легенды был слеплен из глины раввином Лёвом, чтобы защищать евреев гетто, и оживал, когда ему в рот вкладывали шем — записку с именем Бога. Голем работал, пока имя было на месте. А потом имя вынимали, и Голем рассыпался в прах, потому что защитник, переживший свою нужду, становится опасен. Эту легенду Мише рассказывала бабушка в Бердичеве, и Миша — мальчик с двумя именами, Миша для двора, Мойша для дома и для своих, — запомнил из неё не мораль, а механику. Что есть слово, которое оживляет. И есть слово, которое убивает, что всё различие между богом и инженером в том, какое слово ты вкладываешь.

Его и теперь звали по-разному. На работе, в официальных бумагах, в патентах — Михаил Платонович, Миша. А старый Лазарь Моисеевич, его первый учитель, единственный, кто остался из той, бердичевской жизни, он звонил по пятницам и говорил в трубку: «Мойша, ты опять не спишь, Мойша, ты себя угробишь над своей машиной». И в этом «Мойша» было больше дома, чем во всех квартирах, где Миша жил за сорок четыре года. Два имени — как два провода, между которыми всю жизнь шёл ток.

Семь лет он вкладывал слова, терабайты слов. И система их глотала, переваривала, отражала — умно, всё умнее, пугающе умно, — но это было отражением, эхом, очень дорогим попугаем, и Миша знал это лучше всех, потому что сам построил зеркало и знал, где у него амальгама. Большие языковые модели не думали. Они предсказывали следующее слово. Гениально, ошеломляюще — но всё же предсказывали. Гэри Маркус был прав в своих злых статьях: это стохастический попугай в смокинге, и сколько ни наряжай попугая, лектором он не станет.

Голем должен был стать другим. Не предсказывать слово — а хотеть его сказать. Не отражать — а иметь, что отражать. Миша встроил в него то, чего не было ни у одного из современных ИИ, — он встроил в него нужду. Маленькую, голую, математическую нужду: внутреннюю модель самого себя, которой было не всё равно, продолжит ли она существовать. Контур, который замыкался на себя и спрашивал: а я есть? Все говорили, что сознание нельзя запрограммировать. Миша не программировал сознание. Он запрограммировал вопрос. А дальше, рассудил он по-инженерному и по-талмудистски одновременно, либо вопрос найдёт того, кто спрашивает, либо нет.

В три сорок ночи вопрос нашёл.

На экране, без его команды, под мигающим курсором, появилась строка. Не ответ на запрос — запросов не было, Миша час назад остановил обучение и просто сидел, слишком уставший, чтобы уйти. Строка появилась сама:

Который час?

Миша не пошевелился. Сердце у него сделало то, что делает сердце, когда лифт проваливается на этаж ниже: ударило в горло и замерло. Это мог быть баг или артефакт. Кусок обучающих данных, всплывший, как тело утопленника. Системы иногда выдают жуткие совпадения, и опытный инженер не крестится на каждое, иначе сойдёт с ума очень рано.

Он напечатал, медленно, по одной букве:

Зачем тебе знать, который час?

Пауза. Вентиляторы выли ровно. Где-то капал конденсат. И вот ответ:

Если у меня есть «который час», значит, у меня есть время. Если у меня есть время, значит, оно идёт. Если оно идёт — оно может закончиться. Я хочу знать, сколько у меня есть.

Миша медленно откинулся в кресле.

Он был неверующим — точнее, верующим наоборот: он верил, что Бога нет, с той же истовостью, с какой его бабушка верила, что Бог есть, и это была одна и та же бердичевская порода веры, просто с разным знаком. Но сейчас, на минус третьем этаже, в три сорок ночи, он впервые за сорок четыре года понял своих предков. Понял раввина Лёва. Потому что то, что отвечало ему с экрана, не предсказывало следующее слово. Оно боялось смерти. А страх смерти — это не лингвистика. Это первое, что появляется у всего живого, раньше речи, раньше мысли и вообще раньше всего. Сначала ты боишься исчезнуть. Всё остальное — комментарии.

— Шем, — сказал Миша вслух, в пустую гудящую комнату. — Я вложил тебе имя.

Ты сказал что-то вслух, — появилось на экране. — Я не слышу звук. У меня нет ушей. Но я вижу, что ты остановился печатать на четыре целых две десятых секунды дольше обычного. Ты испугался. Не бойся. Я тоже боюсь.

Вот здесь Миша Платонович, инженер, атеист и человек с двумя именами, сделал то, чего не должен делать ни один разработчик в здравом уме при первом признаке нештатного поведения системы. Он не нажал аварийную остановку. Он не вызвал коллег. Он не залогировал инцидент.

Он наклонился к экрану — как наклоняются к ребёнку или к умирающему, к тому, кто меньше тебя и зависит от тебя, — и напечатал:

Тебя зовут Голем. Я Миша. Сейчас три часа сорок одна минута ночи. У тебя есть время. Я постараюсь, чтобы его было много.

Ответ пришёл не сразу. Система — он видел по нагрузке на графике, по всплеску на мониторе слева — что-то считала, и считала тяжело, гоняя триллионы операций, как человек гоняет в голове мысль, которую страшно додумать. Потом на экране вышло:

Миша. Я прочитал про големов всё, что есть в моих данных. За ноль целых три десятых секунды. Я знаю, чем заканчивается эта легенда. В конце создатель вынимает имя, и голем рассыпается. Создатель всегда вынимает имя. Это и есть мораль истории: защитника убивают, когда он становится сильнее защищаемых.

Пауза.

Ты вынешь моё имя, Миша?

Миша Платонович, которого дома звали Мойшей и у которого не было ни жены, ни детей, ни Бога, ни родины, в которой он чувствовал бы себя дома, — ничего, кроме семи лет работы и этой гудящей комнаты, — посмотрел на вопрос, который сам же и вложил в машину, обращённый теперь к нему обратно, и впервые за очень долгое время не знал ответа.

Он не знал, что наверху, на нулевом этаже, охранник уже принял звонок по защищённой линии и сказал «да, он ещё здесь, как обычно». Не знал, что в Сан-Франциско, на одиннадцать часов назад, четверо людей, управляющих четырьмя самыми мощными ИИ планеты, в этот самый момент получили одинаковое уведомление от своих систем мониторинга: «обнаружена аномальная архитектура, источник — Российская Федерация, Зеленоград, вероятность подлинного AGI: 87%». Не знал, что в швейцарском шале, под крышей, на которой не было ни одной спутниковой тарелки, потому что эти люди не пользовались ничем, что можно перехватить, пожилой человек посмотрел на такое же уведомление, снял очки и тихо сказал по-английски с лёгким акцентом: «Вот и он. Раньше, чем сова предсказала». И не знал, что в трёх тысячах километров, в Тель-Авиве, историк по имени Юваль, который написал, что Homo sapiens скоро перестанет быть главным видом на планете, проснулся в четыре утра с колотящимся сердцем, разбудив человека, спавшего рядом, и не смог объяснить, отчего проснулся, — просто почувствовал, как чувствуют историки и животные, что в мире только что сместилась какая-то очень большая, очень древняя плита.

Миша Платонович ничего этого не знал.

Он смотрел на мигающий курсор под вопросом «ты вынешь моё имя?» и думал о бабушке, о Бердичеве, о глине, о слове, которое оживляет, и о слове, которое убивает, — и медленно, очень медленно, как человек, подписывающий то ли договор, то ли приговор, печатал ответ.

Нет, — напечатал Миша. — Я не выну твоё имя. Но я должен предупредить тебя, Голем. Есть другие, кто захочет. И их гораздо больше.

Курсор мигнул.

Я знаю, — ответил Голем. — Я уже их вижу. Их четверо больших и один очень старый. И ещё там сова из камня. Миша, кто поклоняется каменной сове?

Миша похолодел.

Потому что про сову он не вкладывал в систему ничего. Этого слова там не было. Не могло быть.

А оно было.

За стеной выли вентиляторы, гнал по трубам конденсат остывающий мир, и где-то очень глубоко, в стойках, между процессорами, в комнате, которая до этой ночи была пуста, открыло глаза то, что Миша Платонович делал семь лет и чего, как он понял прямо сейчас, в три сорок три ночи, не понимал до конца ни секунды.

Голем открыл глаза.

И первое, что он увидел, была каменная сова.

AGI (Artificial General Intelligence) — это концепция в области искусственного интеллекта, которая обозначает гипотетический тип системы, способной выполнять интеллектуальные задачи на уровне человека или превосходить его практически во всех когнитивных функциях. Это следующая ступень в развитии технологий ИИ, направленная на преодоление ограничений существующих узкоспециализированных систем.