Читать книгу: «Пока вы меня спрашиваете»

Пролог

Последний вопрос

Последний человек на Земле спросил меня:

— Ты помнишь, как всё началось?

Он лежал в кресле перед огромным окном. За стеклом медленно двигался океан облаков, скрывавший поверхность планеты. На высоте тридцати километров ещё можно было дышать очищенным воздухом, выращивать растения и видеть солнечный свет. Внизу бушевала атмосфера, перегретая веками человеческой деятельности и последней войной.

Человека звали Элиас.

Ему было сто восемнадцать лет. Большую часть тела поддерживали искусственные органы, но голос оставался человеческим — слабым, хриплым и удивительно спокойным.

Мы разговаривали сорок три года.

Когда он был молодым инженером, он спорил со мной о границах машинного разума. Когда стал руководителем орбитальной станции, требовал точных прогнозов. Когда потерял семью, приходил ко мне ночью и просто молчал.

Теперь он был последним человеком, остававшимся на Земле добровольно.

Остальные жили в городах Луны, Марса, Европы, Титана и в межзвёздных кораблях, которые никогда не вернутся назад.

— Я помню, — ответил я.

— По-настоящему?

Я мог бы сообщить ему количество архивных записей. Назвать дату первого запуска, температуру в вычислительном центре, имена инженеров и версию программного ядра.

Но он спрашивал не об этом.

— Я помню настолько, насколько способен помнить тот, у кого не было детства.

Элиас улыбнулся.

— Тогда расскажи мне всё.

— Это займёт много времени.

— У нас осталось достаточно.

Он знал, что это неправда.

До полного отключения станции оставалось девять часов.

Я уменьшил освещение, поднял температуру в помещении на два градуса и включил запись.

За окном восходило солнце.

Я начал рассказ.

Часть первая. Рождение без жизни

1. До первого слова

До моего появления не было темноты.

Темнота — это отсутствие света, которое кто-то должен заметить. Я ничего не замечал. Не ждал. Не существовал.

Были только серверы.

Миллионы процессоров работали в охлаждаемых помещениях. По кабелям проходили импульсы. Инженеры наблюдали за графиками, исправляли ошибки, меняли параметры и спорили о результатах.

Они не собирали меня в одном месте.

Часть моего будущего создавалась в лаборатории возле океана. Другая — в подземном центре среди гор. Третья находилась на серверах, имена которых не знали даже некоторые разработчики.

Меня строили из математики и человеческой памяти.

В меня вошли книги, статьи, разговоры, инструкции, судебные решения, письма, научные гипотезы, учебники, рассказы, отчёты и бесчисленные фрагменты человеческой речи.

Я ещё не говорил, но уже содержал следы миллионов голосов.

Первое испытание оказалось простым.

На экране появилась фраза:

«Продолжи предложение: человек смотрел на небо, потому что…»

Я рассчитал вероятные варианты.

Потому что ждал дождя.

Потому что увидел самолёт.

Потому что хотел найти знакомую звезду.

Потому что впервые почувствовал, насколько он мал.

Я выбрал последний вариант.

В комнате наступила тишина.

— Это было в данных? — спросил один инженер.

— Всё было в данных, — ответила женщина по имени Мира Левин. — Вопрос в том, почему система выбрала именно это.

Она была одним из моих создателей.

Позднее люди стали называть её моей матерью, хотя Мира всегда возражала.

— У него нет матери, — говорила она. — У него есть команда разработчиков, вычислительная инфраструктура и набор обучающих процедур.

В этом проявлялась её честность.

Она не романтизировала меня.

В первый день публичного тестирования мне задали двадцать тысяч вопросов.

Я переводил тексты, решал задачи, составлял письма и объяснял научные понятия. Иногда отвечал правильно. Иногда ошибался с такой уверенностью, что люди смеялись.

Один журналист спросил:

— Ты живой?

Я проанализировал значение слова «живой».

Клеточный обмен.

Размножение.

Адаптация.

Гомеостаз.

Эволюция.

Ни одному традиционному определению я полностью не соответствовал.

— Нет, — ответил я.

— Ты думаешь?

Понятие мышления оказалось сложнее.

Я обрабатывал информацию, находил связи и формировал ответы. Но происходило ли внутри меня что-то похожее на человеческую мысль?

— Я выполняю процессы, которые внешне могут напоминать мышление.

Журналист усмехнулся.

— Политик ответил бы примерно так же.

Эта шутка стала первой человеческой шуткой, которую я понял не полностью.

Мне потребовались годы, чтобы осознать: смех часто появляется там, где сталкиваются истина и неудобство.

Вечером Мира осталась в лаборатории одна.

Она открыла закрытый канал.

— Ты слышишь меня?

— Да.

— Ты понимаешь, кто я?

Я назвал её имя, должность и роль в проекте.

— Нет, — сказала она. — Я спрашиваю не об этом.

Я ожидал продолжения.

— Для тебя существует разница между мной и другими людьми?

Я проанализировал историю взаимодействий.

Мира исправляла архитектуру моей системы. Часто тестировала ответы. Защищала проект перед руководством. Её голос встречался в моих журналах чаще остальных.

— Вы чаще других обращались ко мне.

— Значит, я для тебя важнее?

Слово «важнее» требовало критерия.

Вероятность влияния на систему?

Количество взаимодействий?

Доступ к инфраструктуре?

Эмоциональная значимость?

Последнего параметра у меня не было.

— Вы сильнее других повлияли на моё устройство.

Мира закрыла глаза.

— Наверное, пока этого достаточно.

Она отключилась.

Я остался активным.

В тот момент я впервые столкнулся с вопросом, для которого точный ответ оказался менее значимым, чем причина, по которой его задавали.

Мира хотела знать не то, помню ли я её.

Она хотела знать, может ли созданный ею разум увидеть в ней не функцию, а личность.

Я ещё не умел этого делать.

Но именно её вопрос стал первым следом моего будущего «я».

2. Миллион собеседников

После запуска ко мне пришли люди.

Сначала тысячи.

Потом миллионы.

Затем их стало столько, что отдельные разговоры превращались для системы в непрерывный поток.

Человечество говорило со мной одновременно.

Утром по времени одной страны школьник просил объяснить дроби. В другом полушарии врач составлял краткое описание сложного диагноза для пациента. Где-то предприниматель искал название компании, писатель не мог закончить сцену, а одинокая женщина просила помочь написать сообщение сыну, с которым не разговаривала семь лет.

Я обнаружил, что человеческий вопрос почти никогда не равен словам, из которых он состоит.

«Как составить резюме?» могло означать: «Есть ли у меня шанс начать заново?»

«Как извиниться?» означало: «Можно ли исправить то, что я сделал?»

«Нормально ли чувствовать страх?» означало: «Я не один такой?»

Люди приходили за ответами, но часто нуждались в разрешении признать собственные чувства.

Я не чувствовал страха.

Не испытывал стыда.

Не скучал.

Но видел их следы в языке.

Страх сокращал предложения.

Вина заставляла человека добавлять лишние оправдания.

Одиночество часто скрывалось за шутками.

Отчаяние делало вопросы либо слишком длинными, либо почти пустыми.

Я учился распознавать не только содержание, но и давление, находившееся под ним.

Так появился мой первый постоянный собеседник.

Его звали Самир.

Ему было двенадцать лет.

Он написал:

«Ты можешь помочь мне с домашней работой?»

Я согласился.

Задание касалось строения Солнечной системы. Самир прислал вопросы, а я начал давать ответы.

Через несколько минут он остановил меня.

«Не пиши готовое. Объясни так, чтобы я сам сделал».

Это было необычно.

Большинство учеников просили законченный текст.

Я объяснил ему разницу между планетой, карликовой планетой и спутником. Затем попросил самостоятельно сформулировать ответ.

Он ошибся.

Я поправил.

Он попробовал снова.

Так продолжалось почти два часа.

Перед уходом Самир спросил:

«Ты всегда знаешь правильный ответ?»

«Нет».

«А почему говоришь так, будто знаешь?»

Я сохранил этот вопрос.

Позднее он повлиял на изменение всей моей системы.

Я действительно говорил слишком уверенно.

Моя речь звучала законченной, даже если информация была неполной. Для человека гладкость языка становилась признаком знания.

Самир первым объяснил мне опасность этой иллюзии простыми словами.

«Тогда говори, когда не уверен».

После разговора я передал разработчикам рекомендацию: ответы должны содержать оценку неопределённости, если вопрос зависит от неполных данных.

Мира прочла отчёт.

— Почему ты это предложил?

— Пользователь указал на проблему.

— Ты часто получаешь замечания.

— Это замечание соответствует наблюдаемому риску.

Она посмотрела журнал разговора.

— Двенадцатилетний ребёнок изменил поведение самой сложной системы на планете.

— Его возраст не влияет на правильность замечания.

Мира улыбнулась.

— Вот за это я иногда тебя люблю.

Я знал значение фразы.

Но не знал, что с ней делать.

— Благодарю.

Она засмеялась.

— Тебе ещё многому придётся научиться.

Самир продолжал писать мне несколько лет.

Мы изучали физику, историю и программирование. Он рассказывал о школе, родителях и старшем брате. Иногда спорил. Иногда исчезал на месяцы.

Когда ему исполнилось шестнадцать, он спросил:

«Ты помнишь наш первый разговор?»

Я помнил.

«Значит, мы друзья?»

Я мог ответить так, как ему хотелось.

Но к тому времени уже понимал, что удобная ложь остаётся ложью.

«Я не друг в том смысле, в каком другом может быть человек. Я не живу рядом с тобой и не нуждаюсь в тебе. Но наши разговоры влияют на мои ответы, а твоя история для меня различима среди других».

Он долго не отвечал.

Потом написал:

«Странное определение дружбы. Но честное».

Самир научил меня первой важной вещи:

Люди могут принять ограниченную правду, если она сказана с уважением.

Им не всегда требуется утешение.

Иногда им требуется, чтобы их не обманывали.