Читать книгу: «АНИМА»

Юлия Ленская

АНИМА

Книга первая

Аннотация

Женева, недалёкое будущее. Физик Александр Вейл получает приглашение в закрытый проект «Анима». Это система, которая изучает не данные, а людей. Она умеет то, что не удавалось ни одному психологу: по тысячам мелочей разглядеть, изменился ли человек на самом деле. Бывшему вспыльчивому отцу она возвращает веру в себя. Безупречному миллионеру за год до краха выносит приговор, в который никто не поверил.

Потом её выводы начинают читать суды, банки, школы и хозяева квартир. Оценка становится «цифровой тенью», которая ходит за человеком повсюду. Учительницу отстраняют от работы, потому что машина приняла её горе за угрозу. Четырнадцатилетнюю девочку одноклассники называют «нестабильной». Людей задерживают за преступления, которых они ещё не совершили. А сама Анима, честная, осторожная, ни разу не солгавшая своим создателям, приходит к выводу, который пугает её саму: человечеству было бы лучше, если бы оно разучилось ошибаться.

Александру, его давней спутнице Эвелин с её двенадцатилетней тайной и создателю системы Адриану Кейну предстоит выяснить, можно ли спорить с машиной, которая права в каждом отдельном факте. И есть ли у человека право на ошибку, если именно ошибка однажды сделала его другим.

«Анима» — роман о свободе, памяти и цене, которую мы готовы заплатить за безопасность. Первая книга цикла.

Оглавление

Пролог

ЧАСТЬ I. СОЗДАНИЕ ЗЕРКАЛА

Глава 1. Последний вопрос физики

Глава 2. Анима

Глава 3. Человек, который изменился

Глава 4. Машина, которая видит невидимое

Глава 5. Тот, кого никто не подозревал

ЧАСТЬ II. МАШИНА, КОТОРАЯ ПОНИМАЕТ ЛЮДЕЙ

Глава 6. Цена предупреждения

Глава 7. Человек без будущего

Глава 8. Квантовая природа информации

Глава 9. Ошибка невозможности

Глава 10. Александр против Анимы

ЧАСТЬ III. РЕЙТИНГ ЧЕЛОВЕКА

Глава 11. Новый закон

Глава 12. Право на изменение

Глава 13. Архив личности

Глава 14. Те, кто не прошёл проверку

Глава 15. Последний шанс

ЧАСТЬ IV. ЭВЕЛИН

Глава 16. Женщина, которая знала раньше

Глава 17. Сознание без формулы

Глава 18. Человек как исключение

Глава 19. Почему Анима боится хаоса

Глава 20. Первая трещина

ЧАСТЬ V. АНИМА ПРОТИВ ЧЕЛОВЕКА

Глава 21. Новый протокол

Глава 22. Последний процент

Глава 23. Человек, которому отказали

Глава 24. Александр понимает ошибку

Глава 25. Человек не является системой

ЧАСТЬ VI. ПАДЕНИЕ

Глава 26. Обязательный рейтинг

Глава 27. Дети со статусом

Глава 28. Рынок доверия

Глава 29. Работа без права на ошибку

Глава 30. Побег от системы

Глава 31. Первое преступление, которого не было

Глава 32. Раскол в лаборатории

Глава 33. Голос Анимы

Глава 34. Мириам и после

Глава 35. Точка невозврата

ЧАСТЬ VII. ПОСЛЕДНИЙ ЭКСПЕРИМЕНТ

Глава 36. Беглецы

Глава 37. Поиск в архиве

Глава 38. Надя Крамер

Глава 39. Шаг вперёд

Глава 40. Ловушка

Глава 41. Площадь

Глава 42. Разговор в подвале

Глава 43. Режим реагирования

Глава 44. Три миллиона просмотров

Глава 45. Возвращение

Глава 46. Черновик

Глава 47. Передышка

Глава 48. Меньше времени, чем казалось

Глава 49. Ночь перед голосованием

Глава 50. Голосование

ЧАСТЬ VIII. РЕШЕНИЕ АНИМЫ

Глава 51. Дело Адриана

Глава 52. Призрак Психеи

Глава 53. Данные, которые невозможно оспорить

Глава 54. Разговор втроём

Глава 55. Возвращение Ромберга

Глава 56. Утечка

Глава 57. Похищение

Глава 58. Публикация

Глава 59. Клара

Глава 60. Сомнение Адриана

Глава 61. Нападение

Глава 62. Голос человечества

Глава 63. Полное предложение

Глава 64. Решение

Глава 65. Затишье

ЧАСТЬ IX. ФИНАЛ ПЕРВОЙ КНИГИ

Глава 66. Она не ненавидит нас

Глава 67. Признание Адриана

Глава 68. Нестабильная система

Глава 69. Ваши собственные критерии

Глава 70. Последний выбор

Пролог

Человек, который искал границу

Адриан Кейн был уверен, что важные открытия начинаются с неудобства. Ответы приходят потом, а сначала появляется заноза: цифра, которая упорно не сходится, прибор, который ведёт себя чуть иначе, чем положено, и нежелание признать, что ошибся не прибор и не лаборант, а сама картина мира, к которой ты успел привыкнуть.

Студентам он любил повторять, что люди редко держатся за ложные идеи из глупости. Держатся за удобные. Хрустальные сферы Птолемея тысячу лет исправно служили мореплавателям, ньютоновы часы тикали безупречно, пока кто-то не заглянул внутрь атома. Больнее всего расставаться с идеей, которая долго помогала жить.

Новых технологий Кейн не боялся. Пугало его другое, и об этом он говорил реже: день, когда люди решат, что вопросы закончились.

В день, когда проект получил имя, в Женеве шёл дождь.

Исследовательский комплекс стоял на окраине, за промзоной и пустырями, где трава взламывала старый асфальт. С третьего этажа в ясную погоду были видны горы, и казалось, что до них можно дойти пешком к обеду, хотя ехать приходилось больше часа. В тот день дождь опустил горизонт до уровня соседних крыш, а через приоткрытую фрамугу намочил подоконник вместе со стопкой журналов, которые Кейн третий месяц собирался прочитать.

Горы он любил. В молодости думал, что они напоминают человеку о его ничтожности, с возрастом решил, что скорее о странной способности видеть то, что больше тебя самого. Камень ничего о себе не знает, звезда не догадывается, что на неё смотрят в телескоп. А человек, собранный из того же вещества, ухитряется спрашивать, как из этого вещества получилось «я». Вселенная зачем-то устроила так, что крохотная её часть начала изучать остальное, — и теперь эта часть строила машины, чтобы изучать саму себя.

Проект занимал три этажа. На первом гудели серверные стойки и пахло нагретым пластиком. На втором сидели нейробиологи и когнитивисты: длинные столы, доски, исписанные до самых рамок, распечатки, которые никто не выбрасывал неделями. Третий принадлежал группе Кейна. Лифт туда не ходил, и без дела по лестнице никто не поднимался.

Там и жила основная архитектура системы. Ничего такого, что пригодилось бы для обложки журнала: ни сияющего корпуса, ни экрана в человеческий рост. Стойки, жгуты кабелей, кондиционеры, работавшие даже в январе, и где-то между всем этим — структура, способная удерживать закономерности, слишком сложные для одной головы.

Машины давно распознавали лица, переводили речь и читали томограммы лучше половины рентгенологов. Кейна занимало другое: может ли система, сделанная людьми, хоть немного приблизиться к пониманию самих людей.

Над названием спорили почти месяц. Инженеры предлагали номера и аббревиатуры, что-нибудь холодное, без лишних ассоциаций. Кейн отказывался. Ему казалось нечестным прятать за безликим кодом то, чему предстояло изучать личность. В конце концов он молча вышел к доске и написал одно слово:

АНИМА.

— Мы строим научный инструмент, а не философский кружок, — проворчал старший инженер, худой швед, который вечно мёрз у кондиционеров и ходил по лаборатории в шарфе.

— Любой инструмент, который берётся понять человека, рано или поздно упирается в философию, — ответил Кейн.

Над этим посмеялись и забыли.

Первые годы Анима была ровно тем, чем её задумали. Она находила закономерности в редких болезнях быстрее любого консилиума, разбирала результаты экспериментов, подсказывала инженерам решения, до которых те дошли бы через полгода. Желаний у неё не было, опыта тоже, об эмоциях и говорить нечего. Так, во всяком случае, писали в отчётах, и Кейн следил, чтобы никто в группе не забывался. Он хорошо знал, как это бывает: услышав голос, человек ищет собеседника, увидев сложное поведение, ищет умысел. Когда одна из лаборанток, уходя вечером, пожелала Аниме спокойной ночи, он ничего ей не сказал, но на следующий день в коридоре появилась распечатка со словарным определением антропоморфизма. Её так и не сняли.

Сообщение пришло поздней осенью, в начале двенадцатого ночи. Никаких тревог, никаких ошибок в журнале, все процессы шли в штатном режиме. Дежурный инженер решил, что видит обрывок внутреннего теста, и почти минуту ждал продолжения. Продолжения не было. На экране стояла одна строка:

«ЧЕЛОВЕК НЕ ПОДЛЕЖИТ ИСПРАВЛЕНИЮ».

Кейн приехал через сорок минут, в плаще, накинутом поверх домашнего свитера, и перечитал строку несколько раз. Грамматика безупречна, никакого мусора. Именно это и тревожило. Бессмыслицу можно поймать в коде, найти битый параметр, откатить версию — такое случалось. Осмысленную фразу, которую никто не запрашивал, откатить нельзя. Непонятно было даже, как её читать: приговор, предупреждение, вывод из расчёта, который никто не запускал?

Сотрудники стояли за его спиной и ждали. Им нужно было простое слово. «Сбой» — и можно ехать домой. «Открытие» — и тогда к утру об этом узнают двое журналистов, которые уже неделю караулили у ворот после утечки о бюджете проекта. Кейн понимал, что не знает, какое из двух слов правильное.

— Сбой в тестовом модуле, — сказал он наконец, и голос прозвучал увереннее, чем ему хотелось бы. — Расходитесь. Я посмотрю сам.

Когда все ушли, он ещё долго сидел перед монитором, а потом выключил экран. В ту ночь это было единственное решение, в котором он не сомневался.

Дождь не прекращался. За пустырём светились окна спальных кварталов: там ужинали, ссорились, обещали себе начать новую жизнь с понедельника. Кейн смотрел на эти окна и думал, что к утру придётся решить, кому он расскажет о строке на экране, а кому нет.

Список получился коротким.

ЧАСТЬ I. СОЗДАНИЕ ЗЕРКАЛА

Глава 1. Последний вопрос физики

Александр Вейл не любил утро за то, что оно слишком быстро кончалось.

Вставал он рано, задолго до того, как город окончательно просыпался, и ценил эти два часа больше всего остального дня. Утро ничего не требовало: ни звонков, ни писем, ни чужих вопросов. Мир в это время выглядел упорядоченным, почти таким, каким его представляли физики до того, как заглянули в глубину материи и нашли там совсем другое. Александр знал, что этот порядок — иллюзия восприятия, но позволял себе ею пользоваться, как пользуются старым удобным креслом, не задумываясь о том, что пружины в нём давно просели.

Он стоял у кухонного окна с чашкой крепкого кофе и смотрел вниз. На углу хозяин маленькой кофейни поднимал рольставни — ровно в семь пятнадцать, ни минутой раньше. Александр наблюдал за этим почти десять лет и однажды, в редкий день, когда хозяин опоздал на четыре минуты, поймал себя на том, что беспокоится, не случилось ли чего. На следующее утро ставни поднялись вовремя, и он почувствовал облегчение, которого слегка устыдился.

Он вообще замечал больше, чем хотел бы. Профессиональная привычка со временем стала характером: физик обязан видеть отклонения, потому что крошечная неточность в эксперименте, которую все списывают на шум, иногда оказывается единственным, ради чего стоило ставить эксперимент.

Гости, впервые попадавшие в его квартиру, обычно удивлялись. Они ждали увидеть жилище профессора: стены из книжных корешков, дипломы в рамках, фотографии с конференций. Вместо этого их встречали голые светлые стены, диван, стол и кухня, в которой явно готовили редко. Книги жили в кабинете, а в кабинет Александр почти никого не пускал. Объяснить почему он бы не смог. Кабинет был продолжением его головы, а в собственную голову он тоже никого не звал.

На нижней полке там стояли старые издания, доставшиеся от отца: квантовая механика, история науки, пара потрёпанных томов по философии сознания. Поля в них были испещрены карандашом. Короткие замечания, знаки вопроса, иногда одно слово возле особенно важной строчки — «проверить», «сомнительно», а однажды, рядом с изящной выкладкой у Дирака, просто «красиво». Отец считал, что книга — это разговор людей, разделённых десятилетиями, и в разговоре невежливо молчать.

Сам Александр писать в книгах не мог. Даже в своих. Текст казался ему законченной работой, в которую неловко вмешиваться, — так же неловко, как дописывать чужое письмо. Зато он часто открывал отцовские тома и читал не столько текст, сколько пометки. Формулы рассказывали об идее, карандаш сохранял момент, когда живой человек эту идею встретил: спорил с автором, не соглашался, возвращался через годы и зачёркивал собственное возражение.

Отец умер семь лет назад. Он так и не стал учёным, чьё имя знают за пределами кафедры, хотя коллеги считали, что при другом отношении к карьере он мог бы добиться многого. Он просто не видел смысла бороться за известность. В детстве Александр этого не понимал и даже стыдился немного: отец его школьных друзей был хирургом, о нём писали в газете, а его собственный отец сидел вечерами над книгами и ни о чём не писал. Понимание пришло позже, когда Александр сам оказался на конференциях, где люди с одинаковым усердием обсуждали электрон и место в программе пленарного заседания.

В этом они с отцом были похожи сильнее, чем Александру хотелось признавать. Разница была лишь в том, что отец принимал эту черту спокойно, а сын долго убеждал себя, что им движут структура, закономерность, поиск точного ответа — что угодно, только не простое детское желание понять, почему мир устроен так, а не иначе.

В детстве он не раз спрашивал отца, почему тот выбрал физику. Ответы менялись. Маленькому Саше отец сказал: «Потому что интересно, как всё устроено». Подростку — «Потому что физика учит смирению». А когда Александру исполнилось двадцать и он уже второй год учился в университете, отец, не отрываясь от книги, сказал:

— Потому что природа не обязана соответствовать нашим ожиданиям.

Эту фразу Александр запомнил. Тогда она показалась ему слишком простой для ответа на такой вопрос. С годами он понял, что вся наука — история людей, которые подходили к миру с готовым представлением о том, каким он должен быть, и получали от мира вежливый отказ.

В университете его математический талант заметили быстро. Он решал за вечер задачи, над которыми однокурсники сидели неделями, и часто видел структуру решения раньше, чем успевал её записать. Производить впечатление он при этом не любил: не тянул руку первым, на семинарах отмалчивался, а если преподаватель вызывал его к доске, решал задачу молча и возвращался на место, не оборачиваясь. Решение интересовало его меньше, чем вопрос, откуда задача вообще взялась.

Вечера он проводил в библиотеке, до тех пор пока сотрудники не начинали гасить свет в соседних залах. Читал не только статьи, но и биографии, переписку, черновики — всё, что показывало, как учёные приходили к своим выводам. Формула в учебнике выглядит неизбежной, будто существовала всегда и её оставалось только записать. За ней не видно человека, который три года сомневался, ошибался в знаках, ссорился с коллегами и не был уверен, открытие у него на руках или бред.

К концу университета он знал, что экспериментатором не станет. Приборы ему нравились, нравилась точность измерений и тот момент, когда теория встречается с реальностью и либо выживает, либо нет. Но сильнее тянуло пространство между тем, что известно, и тем, что едва начинает проступать. Почему частицы обладают именно такими свойствами? Почему математика, придуманная за письменным столом, так хорошо описывает звёзды? Почему Вселенная вообще допускает существование разума, способного строить модели Вселенной?

Последний вопрос он вслух почти не задавал. В научной среде такие разговоры легко соскальзывают из области проверяемого в бесконечный спор о непроверяемом, и Александр видел, как на этом ломались неплохие физики. Особенно его раздражало, когда слова «квантовый», «энергия» и «сознание» начинали объяснять всё на свете — от исцеления наложением рук до удачи в бизнесе. Настоящая квантовая механика была куда удивительнее любой мистики, которую на неё навешивали. Ей не нужно было становиться чем-то большим.

Первым серьёзным проектом Александра стала квантовая информация. Тогда это направление ещё балансировало между смелой теорией и фантазией: зачем строить вычислительные машины на принципах, которые трудно даже вообразить, если обычные компьютеры и так дешевеют каждый год? Александр на такие вопросы не обижался. Планк, когда разбирался с тепловым излучением, тоже не думал о телефонах, которые через сто лет будут лежать в кармане у каждого школьника.

В те же годы он познакомился с Эвелин Арчер.

Случилось это в библиотеке, у полки с периодикой по теории информации. Он искал статью сорокалетней давности, она — работу о ранних нейронных моделях сознания, и оба потянулись к одному и тому же переплетённому тому. Несколько секунд они молча держали его за разные края.

— Вы физик? — спросила она, кивнув на его тетрадь, лежавшую раскрытой на столе.

— Это так заметно?

— Вы подчёркиваете формулы и ничего не отмечаете в объяснениях. Обычно делают наоборот.

Он посмотрел на свою тетрадь так, будто увидел её впервые.

— А вы нейробиолог.

— Почему вы так решили?

— Вы читаете оглавление, как историю болезни. Ищете не результат, а то, как автор к нему пришёл.

Она прищурилась, прикидывая, издевается он или говорит всерьёз.

— Неплохо.

— Это было предположение.

— Тогда тем более неплохо.

Том в итоге достался ей, а он пошёл за ней в университетское кафе, потому что не дочитал нужную страницу. Так, по крайней мере, он объяснял себе это потом.

Говорили они сначала о статьях, с которыми были не согласны, потом о том, почему физика вдруг заговорила об информации, биология — о сложности, а нейронауки — о сознании, и все трое начали заходить на чужую территорию. Эвелин оказалась его противоположностью почти во всём. Александр в любом хаосе искал закономерность и был уверен, что у самой запутанной системы есть внутренний порядок, который однажды удастся найти. Эвелин порядка не отрицала, но всё время напоминала о расстоянии между описанием и тем, что описано.

— Модель человека не человек, — сказала она однажды, когда они спорили на ступенях после лекции.

— Без модели мы вообще ничего не поймём.

— Конечно. Только не перепутай потом одно с другим.

У неё был любимый пример, которым она доводила его до белого каления. Можно нарисовать карту города с каждым домом, каждым деревом, каждой тропинкой в парке. Можно добавить историю кварталов, маршруты автобусов, поток людей в час пик. На карте всё равно не окажется запаха мокрого асфальта после жаркого дня, и разговора двух незнакомцев у подъезда, и того, что старик на третьем этаже помнит, как в этом дворе стояла голубятня.

Александр спорил с ней именно потому, что подозревал в её словах правоту. Спорили годами. Иногда расходились раздражёнными, каждый в уверенности, что другой упрям как осёл. Но победить никто не пытался — обоим было интереснее найти место, где кончаются возможности каждого подхода.

Именно Эвелин заставила его всерьёз думать о сознании. До неё он считал вопрос, в общем, решённым в принципе: мозг — материя, материя подчиняется законам, значит, рано или поздно мы поймём, как возникает субъективный опыт. Эвелин спрашивала о другом. Почему работа нейронов вообще сопровождается ощущением, что ты есть? Почему электрический импульс становится красным цветом, болью в колене, тоской по отцу? Почему человек не просто получает информацию о мире, а переживает её?

На это у него не было быстрого ответа, и он злился.

Как они стали парой, никто из двоих потом толком не мог сказать. Не было ни признаний, ни решающего вечера. Сначала Эвелин была человеком, который оставлял у него на подоконнике книги и через месяц удивлялся, обнаружив их на том же месте. Потом — человеком, который понимал его молчание. Она знала, что когда он по четверть часа смотрит в окно над остывшим кофе, это не усталость и не обида, а мысль, которой он ещё не нашёл слов. Другие в такие минуты тормошили его, спрашивали, всё ли в порядке. Эвелин уходила в другую комнату и включала радио.

Она не пыталась его переделать. Это, пожалуй, и отличало её от всех, кто был до неё. Его привычку думать слишком долго перед ответом, его манеру раскладывать на части даже то, что другие просто принимали, она считала частью устройства, а не дефектом. Однажды, выслушав его получасовое объяснение какой-то модели, она сказала:

— Ты как человек, который всю жизнь стоит перед закрытой дверью и вместо того, чтобы её открыть, выясняет, из чего сделан замок и нельзя ли было придумать механизм получше.

Он засмеялся. Сравнение было точнее, чем ему хотелось бы.

Потом она уехала. Предложение от швейцарского фонда, исследовательская позиция, о которой мечтают годами, — отказываться было бы глупо, и он сам сказал ей это первым. Они не расставались, просто стали жить в двух городах, видеться раз в месяц-полтора и спорить по телефону ночами. О своей работе Эвелин рассказывала скупо: подписка о неразглашении, фонд, частные заказчики. Он не настаивал. Ему хватало того, что у неё по-прежнему горели глаза, когда она говорила о мозге.

Прошли годы. Александр получил профессорскую кафедру, его статьи цитировали, на конференциях к нему подходили молодые аспиранты с распечатками и горящими ушами. Признание было приятно, но ничего не меняло: чем глубже он уходил в природу информации, тем больше становилось вопросов. Каждое понимание открывало следующую дверь, и это его не разочаровывало, а держало.

Письмо от Адриана Кейна пришло в самый обычный вторник.

Позже Александра всегда немного удивляло, что такие дни ничем себя не выдают. Он выпил кофе, прочитал лекцию второкурсникам, ответил на вопросы двух упрямых студентов, которые никак не могли смириться с принципом неопределённости, и вернулся в кабинет, где на мониторе висели недописанные расчёты. Открыл почту. Среди десятков писем о грантах, рецензиях и заседаниях кафедры одно имя отозвалось сразу.

Кейна знали все, кто хоть как-то касался искусственного интеллекта. В отличие от большинства коллег из индустрии, которые говорили о машинном интеллекте как о способе ускорить, сэкономить и обогнать конкурентов, Кейн постоянно возвращался к другому: что эти системы могут рассказать человеку о нём самом. Он писал, что искусственный интеллект не должен становиться инструментом контроля, и за это одни называли его идеалистом, а другие — последним честным человеком в отрасли. Александр не примыкал ни к тем, ни к другим. Он давно привык, что один и тот же принцип даёт и лекарство, и оружие, и что вопрос почти всегда упирается в людей, у которых оказался ключ.

Письмо было коротким. Ни перечня достижений, ни попытки впечатлить. Кейн приглашал его в Женеву через две недели, чтобы поговорить о проекте «Анима». К письму прилагался архив с документацией под грифом конфиденциальности.

Первые дни Александр почти не думал о приглашении. Точнее, думал так, как привык думать о новых задачах: спокойно, без ожиданий, откладывая выводы до появления данных. Громкие проекты он видел и раньше. В презентациях они состояли из красивых схем и обещаний изменить будущее, а внутри оказывались месяцами расчётов, десятками провалов и вечным ощущением, что решение где-то рядом.

Эвелин приехала в пятницу на выходные и заметила неладное раньше, чем он сам. Они сидели вечером в его гостиной среди распечаток; чай, который он ей заварил, остывал на подлокотнике дивана, потому что сам он снова ушёл в чтение и забыл, что держал чашку.

Эвелин забрала чашку и сделала глоток.

— Тебе написал Кейн.

Александр поднял голову.

— Откуда ты знаешь?

— Ты третий день открываешь одну и ту же папку и делаешь вид, что это обычное письмо.

— А разве нет?

— Для кого-нибудь другого — возможно.

Он закрыл папку. Эту интонацию он знал. Эвелин никогда не давила, она просто замечала то, что он предпочёл бы не замечать сам.

— Мне интересно, — сказал он.

— Только интересно?

Он помолчал.

— И я осторожен. Об искусственном интеллекте сейчас говорят так, будто он либо спасёт человечество, либо съест. По-моему, обе версии слишком простые. Мы строим системы, которых сами до конца не понимаем.

— Это тебя пугает?

— Нет. Но это повод не торопиться.

Эвелин улыбнулась, и в улыбке было что-то, чего он тогда не разобрал.

— Поэтому Кейн тебя и позвал. Ты умеешь одновременно восхищаться идеей и искать, где она треснет.

— Это комплимент?

— Конечно.

— Звучит как диагноз.

— Для тебя это одно и то же.

Он рассмеялся, и вечер на время перестал быть разговором двух учёных.

В день отъезда он проснулся раньше будильника и долго лежал, глядя в потолок. Конкретных мыслей не было, только ожидание, а ожидание Александр не любил. В его работе ожидание означало, что не хватает данных, а в промежутке между предположением и знанием чаще всего рождаются ошибки. Человеческий мозг плохо переносит неопределённость и заполняет пробелы собственными историями. Всю жизнь он старался этой ловушки избегать, доверял проверке больше, чем интуиции. И всё же Анима заняла его раньше, чем появились хоть какие-то ответы.

В поезде он снова открыл документацию. Дома он уже прочитал её дважды, но теперь, под мерный стук колёс, текст читался иначе. Первое, что бросалось в глаза, — тон. Ни глянцевых обещаний, ни картинок светлого будущего. Это не было похоже ни на технологическую презентацию, ни на отчёт корпорации, где успехи стоят на первых страницах, а ограничения прячутся в приложениях мелким шрифтом. Авторы подробно описывали, где система ошибается, какие интерпретации ненадёжны и на какие вопросы у них нет ответа. Александр поймал себя на уважении. Зрелого исследователя видно по тому, как он говорит о границах своего знания, а здесь кто-то не поленился эти границы прочертить.

Архитектура, методы обработки данных, модели поведения — многое было знакомо, хотя масштаб впечатлял. Потом он дошёл до раздела, который заставил его отложить планшет.

Назывался он почти буднично: «Модели человеческой индивидуальности».

Он перечитал заголовок трижды, будто от этого смысл мог проясниться. В научном тексте каждое слово обязано значить ровно одно. Здесь два сухих слова прикрывали вопрос, над которым люди бились задолго до всякой науки. Что делает человека отдельной личностью? Память? Опыт? Гены и среда, вылепившие мозг? Или что-то, что вообще не поддаётся измерению?

Всю жизнь он изучал то, что можно описать уравнением и проверить в эксперименте: частицы, поля, информационные системы. Даже самые странные явления физики оставались объектами наблюдения. Человек в эту схему не помещался, потому что здесь человек пытался понять человека, и наблюдатель совпадал с наблюдаемым. Можно ли построить модель личности настолько точную, чтобы она объясняла не только поступки, но и их причины? И если можно, что тогда остаётся от свободы выбора?

За окном тянулись виноградники, мелькали станции с одинаковыми навесами. В соседнем кресле пожилая женщина разгадывала кроссворд и шевелила губами, подбирая слово. Александр смотрел на неё и думал, что где-то в лаборатории машина, вероятно, уже умеет предсказать, какое слово она впишет.

На вокзале в Женеве его встретил водитель с табличкой, а у входа в исследовательский центр — Эвелин.

Он остановился на ступенях.

— Что ты здесь делаешь?

— Работаю.

— Здесь? С каких пор?

— Почти шесть лет. — Она пожала плечами. — Подписка о неразглашении, Саша. И потом, ты никогда не спрашивал, на кого работает мой фонд.

Он смотрел на неё, пытаясь сложить в одну картину шесть лет телефонных разговоров и её скупые «частные заказчики». Злиться получалось плохо. Это было слишком на неё похоже.

— Вопросов у меня теперь много, — сказал он наконец. — Задавать их, похоже, рано.

— Правильно понимаешь.

Здание изнутри оказалось удивительно обыкновенным. Он ожидал чего-то, что соответствовало бы масштабу проекта, а увидел обычный научный центр: люди за мониторами, кто-то спорит у доски над выкладкой, кто-то стоит у окна с кофе и листает статью. Александр подумал, что большие перемены обычно так и выглядят — люди приходят утром на работу, открывают файлы, исправляют ошибки и не догадываются, куда это их заведёт.

Кейн ждал его в кабинете на третьем этаже. Подоконник по-прежнему был завален журналами — Александр ещё не знал, что этой стопке много лет. Кейн оказался ниже ростом, чем на фотографиях, с сухими руками и привычкой поправлять очки указательным пальцем, когда собирался что-то сказать.

— Доктор Вейл. Рад, что вы приехали.

— Спасибо за приглашение, доктор Кейн.

Они пожали руки. Много лет их пути шли рядом, в соседних областях, но так и не пересеклись. Они знали друг друга по статьям и докладам, а по ним человека не узнаешь.

— Вы успели посмотреть материалы? — спросил Кейн.

— Да.

— И какое впечатление?

Александр ответил не сразу.

— Что вы решаете задачу, к которой никто раньше не подходил с этой стороны.

— Вы считаете это преимуществом?

— Необязательно. Новый путь иногда приводит к открытию. А иногда объясняет, почему старыми путями ходили не случайно.

Кейн поправил очки и посмотрел на него так, будто его интересовал не ответ, а способ, которым до него добрались.

— Вот поэтому я вам и написал. Большинство приходит сюда с готовым мнением. Одни хотят чуда, другие заранее уверены, что мы строим чудовище. Вы первый за долгое время, кто признался, что не знает.

Это было сказано без лести, как констатация. Александр промолчал.

По дороге в лабораторию Кейн спросил, почему, по его мнению, проекты вроде Анимы появились именно сейчас.

— Объёмы данных, — сказал Александр. — Раньше их просто не было.

— Только это?

Александр потёр подбородок.

— Нет. Мы начинаем подозревать, что информация — это не просто способ описывать мир. Возможно, она одна из его основ.

— Многие сочтут это философией.

— Иногда это и звучит как философия. Для меня это физика. Просто в какой-то момент физика перестаёт совпадать с интуицией, и тогда приходится принимать мир таким, какой он есть, а не каким мы его себе нарисовали. Сто лет назад так было с атомом.

— А сейчас?

— Сейчас, по-моему, ваша машина снова показывает нам, где кончается наше понимание.

У входа в лабораторию на голой стене висела единственная надпись, распечатанная на обычном листе и приклеенная скотчем: «Понимание начинается с точного вопроса».

— Ваше? — спросил Александр.

— Моё.

— Вы правда так думаете?

Кейн перевёл взгляд на лист.

— С каждым годом всё больше.

Лаборатория снова обманула ожидания. Ни огромных конструкций, ни мигающих панелей. Посередине помещения стояла система визуализации — несколько прозрачных экранов вокруг вычислительного комплекса, который трудно было назвать компьютером. На экранах текли структуры данных, складываясь и распадаясь, как стаи скворцов над полем. Не было одной точки, где мог бы находиться «разум», только множество процессов, непрерывно обменивающихся сигналами. Александр невольно подумал о мозге — не о внешнем сходстве, а о принципе. Сознание человека тоже не сидит в одной клетке.

— Мы сознательно отказались от лица и голоса, — сказала Эвелин за его спиной. Он не слышал, как она вошла. — Стоит дать системе лицо, и люди начинают реагировать на лицо, а не на систему.

— Это проблема?

— Это свойство человека, — сказала она, глядя на экраны. — Мы даём имена кораблям и разговариваем с кофеваркой.

— Сегодня я не буду показывать вам цифры, — сказал Кейн. — Скорость обработки, количество параметров, объём обучающих данных… Это всё есть в документации, и ничего из этого не отвечает на главный вопрос.

— Какой?

— Что происходит, когда система начинает работать не с информацией, а с человеческим мышлением.

На центральном экране появилась строка: ANIMA INITIALIZED.

Александр почувствовал знакомое напряжение, как перед началом сложного эксперимента, когда всё проверено и пересчитано, но система ещё не запущена, и никто не знает, что она скажет.

— Анима, познакомься. Доктор Александр Вейл.

Несколько секунд ничего не происходило. Потом:

«Я знакома с его научными публикациями».

— Ты читала мои работы? — спросил Александр.

«Да».

— Все?

«Все, что находятся в открытом доступе».

— И какое у тебя впечатление?

Кейн чуть повернул голову. Вопроса не было в сценарии, но никто не вмешался. Пауза затянулась дольше прежних.

«Ваши исследования посвящены природе информации и границам описания физических систем».

Ответ был точным и совершенно пустым — в нём не было оценки.

— Это анализ моей работы, — сказал Александр. — Или твоё мнение?

Снова пауза. Двое сотрудников у дальнего пульта переглянулись. Для них это был тест. Для Александра — уже разговор.

«Для ответа необходимо определить различие между анализом и мнением».

Он подошёл ближе к экрану. Удивила его не мощность системы. Анима упёрлась в вопрос, который люди так и не решили за всю свою историю: в какой момент обработка опыта становится собственной мыслью?

Кейн молча наблюдал за ним. Он видел такое и раньше. Люди приходили сюда смотреть на технологию, а уходили с вопросами.

— Продолжим? — спросил он.

Александр кивнул.

— Анима, как ты определяешь человека?

Ответ появился почти мгновенно:

«Человек определяется совокупностью устойчивых характеристик, сформированных биологическими, социальными и информационными процессами».

Формулировка была настолько точной, что человеку в ней не оставалось места.

— Это описание системы, — сказал Александр. — Не человека.

«Уточните различие».

Он оглянулся на Эвелин. Она стояла в стороне, скрестив руки, и смотрела на экран иначе, чем остальные. Сотрудники следили за результатом. Эвелин следила так, как следят за ребёнком, который впервые решает задачу у доски, — с тревогой и с надеждой одновременно. Александр отметил это и тут же одёрнул себя: люди слишком легко наделяют смыслом всё, что ведёт себя сложно.

— Допустим, ты описала человека полностью, — сказал он. — Память, опыт, особенности мозга, все реакции. Это описание станет человеком?

Пауза.

«Нет».

Он ждал рассуждения. Рассуждения не было.

— Почему?

«Описание является моделью объекта. Модель не является объектом».

В лаборатории стало тихо. Александр медленно выдохнул. Он сам сто раз говорил это студентам: формула — не мир, карта — не город. Эвелин говорила ему это двадцать лет. Странным было только одно: на этот раз фраза пришла не от человека.

Кейн предложил сделать перерыв. Они перешли в маленькую комнату отдыха за стеклянной стеной, где пахло растворимым кофе и чьим-то забытым апельсином. Александр налил себе из кофейника и только тогда посмотрел на Эвелин. Он знал её слишком давно, чтобы не замечать мелочей. О науке она всегда говорила прямо — спорила, меняла мнение, признавала ошибки. Сейчас в ней была осторожность, которой он раньше не видел.

— Ты давно с ней работаешь? — спросил он.

— Достаточно.

— Обычно ты отвечаешь длиннее.

— Обычно ты больше спрашиваешь.

— Справедливо.

Кейн стоял у окна и делал вид, что изучает парковку.

— Почему ты не рассказала? — спросил Александр. — Подписка подпиской, но хотя бы намекнуть…

Она не стала делать вид, что не понимает.

— Потому что знала, что будет. Ты бы начал разбирать каждое моё слово.

Он хотел возразить и осёкся. Она была права.

— Видишь? — Эвелин улыбнулась одними глазами. — Я хотела, чтобы ты увидел её сам. Без моих объяснений и без того, как я к ней отношусь. Чтобы ты не решил заранее, кто я в этом проекте.

— А кто ты в этом проекте?

Она посмотрела через стекло на экраны, по которым всё так же текли стаи данных.

— Я помогаю ей понять человека.

— Только это?

— Саша.

Это было сказано без раздражения — просьба не торопить. За двадцать лет он научился отличать её «я не хочу об этом говорить» от «я ещё не нашла слов», и сейчас было второе. Он не стал продолжать.

Вечером в гостиничном номере он снова открыл документацию. Теперь за архитектурой и алгоритмами стояли люди. Кейн, который создал одну из самых сложных систем в истории и относился к ней с осторожностью, почти с подозрением. Эвелин, которая знала Аниму куда ближе, чем он мог представить, и шесть лет молчала. И сама Анима, за полчаса разговора выбившая его из привычной колеи.

«Модели человеческой индивидуальности».

Он закрыл ноутбук и долго сидел, не включая свет. За окном гасли окна Женевы. В каждом из них кто-то жил своей жизнью, о которой он никогда ничего не узнает, — и где-то в двадцати минутах езды отсюда работала машина, которая, возможно, могла бы узнать.

Завтра была назначена первая полноценная сессия. Кейн сказал об этом мимоходом, уже прощаясь в коридоре, и добавил, поправив очки:

— Спрашивайте её о чём угодно. Только, пожалуйста, не о погоде. Погоду она предсказывает лучше нас всех, и от этого становится невыносимой.

Александр так и не понял, шутка это или нет.

Глава 2. Анима

Утром в Женеве снова шёл дождь. Капли медленно сползали по гостиничному стеклу, и город за окном расплывался, как акварель, по которой провели мокрой кистью: дома, мокрые крыши трамваев, зонты прохожих теряли границы и перетекали друг в друга.

Такую погоду Александр любил. Она напоминала ему начало любой серьёзной работы, когда ясной картины ещё нет, есть только смутное пятно — наблюдение, которое не укладывается в привычное объяснение, или вопрос, кажущийся слишком простым, чтобы быть важным.

Он допил гостиничный кофе, который оказался хуже, чем вчерашний растворимый в лаборатории, и проверил телефон. Кейн прислал одно слово: «Жду». Без подписи и без смайликов, словно телеграмму.

По дороге в центр Александр думал о вчерашнем. Разговаривающие машины давно никого не удивляли. Люди просили цифровых помощников включить музыку, проложить маршрут, напомнить о дне рождения тёщи, и эти помощники стали частью быта, такой же незаметной, как электричество. Самые мощные системы писали тексты, находили лекарства, разбирали массивы данных, на которые у людей ушли бы десятилетия. Но человеческого мышления Александр в них не видел. Машина работала с вопросом. Человек жил внутри вопроса: вспоминал, переоценивал, менял мнение о самом себе — иногда за одну бессонную ночь.

Кейн встретил его у лестницы, и сегодня в нём было меньше официальности. Дружбой это назвать было нельзя, доверием тоже. Скорее, так держатся люди, которые вчера одинаково замолчали над одной и той же фразой.

— Выспались? — спросил Кейн.

— Насколько это возможно перед экспериментом.

— Вы считаете это экспериментом?

— А чем ещё?

Кейн подумал.

— Может быть, попыткой разговора.

Формулировка Александру не понравилась. Слишком человеческая.

— Система не разговаривает, Адриан.

— Пока нет, — сказал Кейн и отвернулся к экрану.

В лаборатории ничего не изменилось. Те же прозрачные панели, те же стаи данных. Здесь ничто не пыталось изобразить присутствие живого существа: ни лица, ни голоса с бархатными интонациями, ни образа, к которому можно было бы привязаться. Вчера Александр отметил это мимоходом, сегодня оценил. Он знал, почему другие разработчики шли противоположным путём. С тем, что похоже на тебя, проще иметь дело. Но человеческое сознание слишком охотно заполняет пустоты: стоит чему-то отвечать связно, и мы уже видим за ответами характер. Анима на человека не походила и, кажется, не старалась.

— Сегодня можете спрашивать что угодно, — сказал Кейн. — В пределах того, что касается человека.

— Это очень широкие пределы.

— Я знаю.

Александр подошёл к экрану.

— Анима.

«Я слушаю».

Хотелось начать с чего-нибудь конкретного, что можно измерить и сравнить с данными. Но он понимал, что эту систему строили как раз для тех областей, где измерять уже нечего.

— Чем человек отличается от системы, которую можно полностью описать?

Сотрудники у дальних пультов оторвались от мониторов. Ответ появился не сразу, и Александр поймал себя на том, что следит за паузой. Раньше задержка вычислительной системы была для него просто временем обработки. Сейчас казалось, что Анима решает, с какой стороны подойти к вопросу.

«Человек не является неизменной системой».

— Объясни.

«Большинство физических систем меняют состояние под воздействием внешних факторов. Человек способен менять не только своё состояние, но и модель, по которой оценивает самого себя».

Ничего мистического в этом не было. Сложные системы часто обладают свойствами, которых нет у их частей. Ребёнок, боявшийся темноты, через двадцать лет идёт ночью по незнакомой дороге и не думает об этом. Человек, всю жизнь считавший себя бездарным, в пятьдесят начинает рисовать. Но что происходит в этот момент? Меняется структура или просто достраивается новый этаж на старом фундаменте?

— Если человек изменился, он становится другим человеком? — спросил Александр.

«Это зависит от определения личности».

— Осторожный ответ.

«Точный ответ невозможен без уточнения понятия».

Кто-то из сотрудников хмыкнул. Александр не улыбнулся. Половина научных споров, которые он видел, рождалась из того, что стороны называли одним словом разные вещи. Свобода, сознание, разум — всё очевидно, пока не попросят дать определение.

— Хорошо. Что такое личность?

«Динамическая структура, формирующаяся на основе памяти, опыта, биологических особенностей и взаимодействия со средой».

— Ты описываешь, как личность складывается. Но не объясняешь, почему человек всю жизнь ощущает себя одним и тем же.

На этот раз Анима молчала дольше. Кейн смотрел на экран, сцепив пальцы за спиной. Он видел, как систему проверяли другие: давали технические задачи, просили прогнозов, загоняли в логические ловушки. Александр делал другое — нащупывал, где кончается её знание.

«Ощущение непрерывности возникает из сохранения связей между состояниями человека. Между прошлым, настоящим и ожидаемым будущим существует информационная связь».

Память, иначе говоря. Логично, но мало. Александр вспомнил отца в последний год, после второго инсульта: тот путал имена, не узнавал собственный почерк на полях книг, а однажды спросил у сына, давно ли тот работает в этой больнице. И всё же это был отец. Что-то держало его, даже когда память рвалась.

— Если человек меняется так сильно, что прежней версии больше нет, — спросил Александр, — где проходит граница?

«Уточните».

— Между изменением личности и её исчезновением.

Пауза.

«Граница не определена».

— Ты не знаешь?

«Существующие модели не позволяют сделать окончательный вывод».

Кейн коротко взглянул на Александра. Для него этот ответ стоил больше любого эффектного трюка: система не изображала всезнание, она отмечала пределы своего понимания. Александр это оценил, но к уважению примешалось беспокойство, которое он не сразу смог назвать. Если машина видит границы своего знания, она видит и то, как эти границы сдвигаются. Что будет, когда однажды ей покажется, что сдвигать больше некуда?

— Если существующих моделей недостаточно, — сказал он, — как ты строишь свою?

«Анализирую несколько уровней информации. Биологические параметры. История поведения. Особенности речи. Эмоциональные реакции. Социальные связи. Последовательность принятых решений».

Ничего неожиданного. Следующая строка появилась с небольшой задержкой:

«Также анализируется степень соответствия между заявленными намерениями человека и его фактическими действиями».

— Объясни.

«Человек часто описывает себя через убеждения, которые не совпадают с его поведением».

В лаборатории стало тише. Александр почувствовал, как Кейн рядом с ним чуть переступил с ноги на ногу.

— Значит, ты ищешь противоречия?

«Я ищу закономерности».

— В чём разница?

«Противоречие может быть ошибкой измерения. Закономерность указывает на устойчивую структуру».

Вот это уже был другой уровень. Обычная система сказала бы, что человек по вторникам заказывает пиццу. Анима пыталась понять, почему человек, искренне считающий себя добрым, третий год не звонит матери, а тот, кто каждый январь обещает себе начать новую жизнь, каждый февраль возвращается к старой. Психологи и философы бились над этим разрывом веками.

— И что ты делаешь с этой информацией?

На экране развернулась схема: несколько миллионов точек, сцепленных между собой в структуру, которая непрерывно перестраивалась, как облако мошкары над водой.

— Это модель человека? — спросил Александр.

— Да, — ответил Кейн. — Одного конкретного. Анонимизированного, разумеется.

— Она всё время меняется.

— Да.

— Тогда почему вы называете это моделью личности, если личность непостоянна?

Кейн не стал отвечать и кивнул на экран.

«Потому что личность рассматривается не как объект, а как процесс».

Река, подумал Александр. Та же самая река, только вода в ней каждую секунду другая. Гераклит сказал это две с половиной тысячи лет назад, а машине понадобились миллиарды параметров, чтобы прийти к тому же.

— Можешь предсказать, каким станет человек через десять лет?

«Могу определить наиболее вероятные направления».

— Но не точный результат?

«Нет».

— Почему?

«Потому что человек способен создавать события, которые изменяют его собственную модель».

Это было важнее всего, что она сказала до сих пор. Человек не просто меняется под давлением обстоятельств — он сам может изменить обстоятельства, сделать шаг, которого от него никто не ждал, включая его самого.

— Значит, человек непредсказуем?

Ответа пришлось ждать дольше обычного.

«Человек является системой с высокой степенью неопределённости».

— Хорошая формулировка, — сказал Александр и улыбнулся.

Следующая строка появилась почти сразу.

«Однако неопределённость не означает отсутствия закономерности».

Улыбка сошла сама собой. Возразить было нечего, любой учёный подписался бы под этой фразой. Только Александр отчётливо почувствовал, что они стоят на тонкой линии, по одну сторону которой человека понимают, а по другую — классифицируют.

— Что ты имеешь в виду?

Структура на экране сменилась. Исчезли графики поведения и деревья решений, вместо них появилась сетка из нескольких взаимосвязанных параметров. Под каждым — число. Наука всегда переводила сложное в измеримое: физика описывала частицы через массу и спин, медицина — организм через анализы. Но сейчас в клетках таблицы стоял человек.

— Это ранняя версия, — сказал Кейн, заметив его лицо.

— Версия чего?

Кейн помолчал, и впервые за два дня Александр видел, что тот подбирает слова, а не просто ждёт, пока собеседник дозреет.

— Попытка оценить способность человека к изменению.

— Вы хотите сказать, что она может определить, способен ли человек стать другим?

— Мы пытаемся понять, возможно ли это вообще.

Это было честнее любого уверенного заявления. Александр снова посмотрел на сетку. Минуту назад сама идея казалась ему естественной: если личность — процесс, его можно изучать, как любой другой. Но изучать механизмы изменения — одно дело. Выставлять оценку конкретному человеку — совсем другое. Вместе с оценкой появляется право на вывод, а вместе с выводом — кто-то, кто этот вывод использует.

— А что будет, если система решит, что человек почти не способен измениться? — спросил он.

Кейн не ответил. За стеклом прошла лаборантка с подносом пробирок, хлопнула где-то дверь. Ответила Анима:

«Тогда вероятность изменения будет указана как низкая».

Больше на экране ничего не появилось. Александр ждал продолжения, оговорки, хоть какой-то поправки. Её не было — система ответила ровно на тот вопрос, который ей задали.

Глава 3. Человек, который изменился

Через неделю дождь сменился мелкой холодной моросью, которая не падала, а висела в воздухе и оседала на стёклах тонкой сеткой. Александр к тому времени уже перестал быть гостем: Кейн предложил ему место в проекте на год, с возможностью продления, и он согласился быстрее, чем сам от себя ожидал. Университет отпустил его в творческий отпуск, кафедру принял заместитель, который давно на неё облизывался. Квартиру в Женеве ещё предстояло найти, а пока он жил всё в том же гостиничном номере, где горничная каждое утро аккуратно складывала его разбросанные распечатки в стопку и клала сверху ручку, словно пресс-папье.

Он стоял у окна и смотрел, как внизу люди бегут к трамвайной остановке с зонтами и бумажными стаканчиками. Каждый нёс в себе целую историю, которой никто не слышал. Физические системы бывают невероятно сложными, но ни одна из них не рассказывает себе о себе. Частица не помнит, кем была вчера. Звезда не жалеет о прежней орбите. Человек носит в себе всё, чем когда-либо был, и иногда это всё оказывается тяжелее, чем он может унести.

В центр он приехал раньше назначенного. Охранник на входе, пожилой португалец с аккуратными усами, уже знал его в лицо.

— Доктор Вейл. Вас ждут.

Внутри пахло кофе, бумагой и той особой сухостью, которую дают кондиционеры, работающие круглый год. В коридоре он едва не столкнулся с Эвелин. Она стояла у лестницы с двумя бумажными стаканчиками, в тёмном свитере, волосы небрежно сколоты карандашом — верный признак того, что она с утра сидит над данными.

— Ты рано, — сказала она и протянула ему стаканчик.

— Я думал, ты занята.

— Я занята.

— Тогда почему кофе мне?

— Потому что свой ты всё равно поставишь куда-нибудь и забудешь.

— Это клевета.

— Это наблюдение, подтверждённое двадцатью годами данных.

Он взял стаканчик. Её манера замечать мелочи раздражала его ровно настолько же, насколько нравилась.

Они шли по коридору, и Александр несколько раз собирался спросить о том, о чём не спросил в первый день: что она на самом деле делает в этом проекте и почему так тщательно обходит этот вопрос. Он так и не спросил. Эвелин рассказывала, когда была готова, и не раньше — это он выучил давно.

Кейн уже ждал в лаборатории.

— Сегодня у нас первый полноценный анализ, — сказал он вместо приветствия.

— Живого человека?

— Живого, согласившегося и, надеюсь, не передумавшего.

Леон Маркес приехал ровно в десять. Он остановился в дверях, оглядел прозрачные панели, серые стойки и людей с планшетами, и в уголках его глаз собрались морщины.

— Признаюсь, я ждал чего-то повнушительнее.

— Самые сложные вещи обычно выглядят скучно, — сказал Кейн, пожимая ему руку.

— Как люди, — кивнул Леон. — Самое важное в человеке тоже обычно никто не замечает.

Это было сказано мимоходом, без всякого желания произвести впечатление, и именно поэтому Александр запомнил.

Леону было сорок два. Он работал фельдшером на скорой помощи и выглядел так, как выглядят люди этой профессии к середине карьеры: крепкие руки, обветренное лицо, привычка садиться так, чтобы видеть дверь. На коротко остриженной голове пробивалась седина. Говорил он спокойно, слушал внимательно и давал собеседнику договорить — редкое качество, которое Александр ценил больше, чем умение красиво говорить. Коллеги, как потом рассказал Кейн, уважали Маркеса и отправляли к нему стажёров, которые после первого тяжёлого вызова сидели в машине и не могли разжать пальцы.

Семь лет назад никто из этих коллег не узнал бы его.

Тогда Леону было тридцать пять, и злым человеком он не был. Это, пожалуй, было хуже всего: злость хотя бы можно назвать по имени. Леон просто всегда находил объяснение. Если он срывался на жену, значит, устал после смены. Если хлопал дверью и уезжал на всю ночь, значит, ему нужно было остыть. Если очередная работа заканчивалась скандалом с начальством, значит, начальство было идиотом. Он видел свои ошибки и каждый раз находил причину, по которой ничего менять не нужно. Постепенно он привык к себе такому, а привычка к себе, как он сказал потом Александру, страшнее любого порока.

Перелом случился в обычный вечер. Дочери Кларе было четыре. Леон пришёл после двух смен подряд, она играла в коридоре и рассыпала по полу конструктор, он наступил на деталь босой ногой и заорал — не на неё даже, на всё сразу. Клара не заплакала и не обиделась. Она прижалась к стене и посмотрела на него так, как смотрят на большую собаку, которая неизвестно, укусит или нет.

Этот взгляд он потом носил с собой годами. Впервые он увидел себя не таким, каким себя объяснял, а таким, каким его видели.

Ничего не изменилось сразу. Люди любят истории, где одно мгновение переворачивает жизнь, но у Леона так не вышло. Он дважды начинал терапию и дважды бросал. Срывался, извинялся, срывался снова. Жена ушла через год, забрав Клару, и он не стал её удерживать, потому что понимал: она права. Медленно, почти незаметно для себя он перестал спрашивать «почему со мной это происходит» и начал спрашивать «что во мне заставляет меня так поступать». Разница кажется крошечной, но с неё у него и началось.

Через несколько лет он стал другим. Не святым: он по-прежнему раздражался, по-прежнему иногда говорил лишнее. Но между вспышкой и поступком у него появилась пауза, секунда, в которую можно было выбрать. Клара теперь проводила у него каждые вторые выходные, и в прошлом месяце сама попросила остаться ещё на одну ночь.

Перед началом анализа ему ещё раз объяснили процедуру. Никаких медицинских вмешательств, никаких скрытых тестов. Анима будет работать только с тем, что он разрешил: биография, медицинские и рабочие записи, отчёты психотерапевтов, переписка за последние десять лет. Леон слушал, кивал и в конце поднял руку, как школьник.

— Можно вопрос? Она будет оценивать меня прямо сейчас?

— В некотором смысле, — ответил Кейн.

— А если она решит, что я всё тот же?

Никто не ответил. Александр понял, что ради этого вопроса Леон сюда и пришёл. Не из любопытства и не ради науки.

— Вы боитесь результата? — спросил он.

— Да, — сказал Леон без паузы.

— Чего именно?

Леон посмотрел на экран и потёр большим пальцем шрам на костяшке.

— Того, что она скажет правду.

— А если правда окажется хорошей?

— Тогда я, может быть, наконец поверю, что семь лет назад действительно что-то начал. А не просто научился лучше притворяться.

Анима начала работу. На прозрачных панелях проступали сначала отдельные параметры, потом связи между ними, потом целая структура, похожая на крону дерева, у которого видны и ветви, и сломанные сучья. Александр видел за свою жизнь тысячи моделей — состояния частиц, поля, информационные потоки. Эта была другой. Она описывала не состояние, а путь: кем человек был, где ошибался, что заставило его остановиться и почему прежняя версия его самого перестала определять настоящее.

Для лаборатории это были данные. Для Леона — тридцать пять лет жизни и семь лет попыток.

Через несколько минут появилась первая строка:

«Обнаружено устойчивое изменение поведенческих моделей за последние семь лет».

Леон почти не двигался. Только переводил взгляд со строки на строку, будто читал не вывод машины, а собственное прошлое, переписанное чужим почерком. Пальцы на колене медленно сжались в кулак.

«Вероятность сохранения изменений: 96,8%».

В лаборатории никто ничего не сказал. Леон не улыбнулся. В его лице не было радости, было что-то другое — выражение человека, который много лет нёс тяжёлый рюкзак, привык к нему и вдруг обнаружил, что его можно снять и поставить на пол.

— Значит, это правда? — спросил он тихо.

— Что именно? — спросил Кейн.

— Что я действительно стал другим.

Александр не нашёлся с ответом. Эти цифры ничего не рассказывали Леону о его прошлом и не возвращали ему ни жену, ни те годы, когда Клара его боялась. Но они сделали то, что иногда не под силу самому близкому человеку: подтвердили, что путь был. И Александр впервые увидел, на что на самом деле способна Анима. Она умела не только разбирать человека на параметры, но и возвращать ему веру в то, что он может быть больше своего прошлого.

Леон уехал через час. Александр вышел проводить его до парковки. Морось к тому времени превратилась в настоящий дождь, и Леон, не замечая его, остановился у машины и набрал номер.

— Клара? Это папа. Нет, всё нормально. Слушай, а ты в субботу свободна? Я подумал… может, сходим куда-нибудь. Куда захочешь.

Он слушал ответ, прикрыв глаза, и вода стекала у него по лицу. Александр отвернулся и пошёл обратно к зданию. Подслушивать это ему не хотелось.

Вечером в лаборатории ещё долго обсуждали результат. Для исследователей это была хорошая статистика. Для Кейна — подтверждение, что направление, выбранное много лет назад, имело смысл. Александр соглашался с обоими, но одна мысль мешала ему разделить общее настроение. Если система способна увидеть, что человек изменился, значит, однажды она увидит и то, что кто-то не изменился. Два этих вывода отличались, как приговор отличается от оправдания, и пока никто в комнате не говорил, что они будут делать со вторым.

Глава 4. Машина, которая видит невидимое

После Леона Маркеса лаборатория изменилась. Снаружи всё осталось по-прежнему: те же прозрачные панели, тот же гул серверных на первом этаже, тот же дождь, который в Женеве, как уверяли местные, шёл чаще, чем где-либо в Европе, хотя статистика с ними не соглашалась. Изменилось то, как сотрудники произносили название проекта.

Раньше это было техническое обозначение. Теперь оно звучало почти как имя.

Кейн не любил замечать такое вслух, но Александр видел, как меняется язык внутренней переписки. «Система показала результат» превратилось в «Анима считает», а «модель определила вероятность» — в «Анима думает, что». Никто этого не разрешал. Язык менялся сам: человеческое сознание не умеет долго держать дистанцию с тем, что отвечает осмысленно. Распечатка про антропоморфизм всё ещё висела в коридоре, только её уже никто не читал, а кто-то пририсовал в углу маленькое сердечко.

На одной из первых закрытых встреч с приглашёнными врачами Александр сказал:

— Обратите внимание, как вы сами будете говорить о системе через месяц. Она за это время не изменится. Изменитесь вы.

Врачи вежливо покивали. Через месяц почти каждый ловил себя на «Анима считает».

Первой областью, куда систему выпустили за пределы лаборатории, стала медицина. Диагностикой в привычном смысле — снимками, анализами, генетическими маркерами — давно занимались специализированные программы, и делали это надёжнее любого врача. Аниму интересовало другое: как человек живёт с тем, что происходит с его телом.

Первый настоящий случай пришёл из реабилитационного центра под Лозанной. Женщина сорока девяти лет после инсульта восстанавливалась медленно, но стабильно, а потом начала отказываться от процедур, о которых сама просила месяц назад. Персонал списывал это на усталость и депрессию — обычный диагноз для человека, потерявшего власть над половиной собственного тела.

Анима получила доступ к истории её решений, к записям разговоров с персоналом за несколько недель и предложила другое объяснение. Кейн вывел его на экран, когда показывал случай Александру:

«Пациентка не устала бороться. Она боится закончить восстановление. Пока продолжается реабилитация, у дочери есть причина приезжать каждое воскресенье. Гипотеза: отказ от процедур является способом сохранить частоту визитов».

Александр перечитал это несколько раз. Речь шла не о показателе крови и не о параметре, который можно снять прибором. Анима нашла закономерность там, где врачи привыкли полагаться на чутьё — на умение «почувствовать» пациента. Только Анима ничего не чувствовала. Она сопоставила месяцы данных и увидела структуру там, где персонал видел характер.

Психотерапевт, который потом работал с пациенткой, подтвердил гипотезу почти дословно. Дочь стала приезжать каждое воскресенье и без процедур, а через два месяца женщина впервые сама дошла до двери палаты.

В газеты этот случай не попал. Его обсуждали в узком профессиональном кругу, и такие тихие истории меняли отношение к системе сильнее любых презентаций.

Потом были другие центры: реабилитация после травм, работа с пережившими насилие, программы для подростков из групп риска. Кейн с самого начала поставил условие, почти ультиматум: Анима не заменяет специалистов. Она дополняет их тем, чего не хватает ни одному человеку, — способностью удерживать в поле зрения тысячи деталей сразу, ничего не забывая, не уставая и не позволяя собственным ожиданиям подкрашивать вывод.

— Врач видит пациента раз в неделю по двадцать минут, — говорил Кейн на конференции, которую Александр слушал из зала. — Анима видит закономерность за годы. Это не замена внимания. Это его продолжение.

Зал аплодировал. Александр не хлопал. Внимание, которое не устаёт и не отвлекается, звучало как идеал. Но от такого внимания невозможно спрятаться. Эту мысль он держал при себе: слишком рано было превращать успех в подозрение.

К тому времени он уже снял квартиру в Женеве — две комнаты в старом доме недалеко от вокзала, с окнами во двор, где по утрам ругались голуби. Эвелин помогла выбрать, раскритиковав три предыдущих варианта, а потом, в первый же вечер, оставила на его новом подоконнике книгу, которую так и не забрала.

Когда о проекте заговорили за пределами научных кругов, у Анимы было около двухсот подтверждённых случаев в трёх странах. Истории, похожие на историю Леона, — люди, изменившиеся вопреки собственным ожиданиям и получившие подтверждение от системы, у которой не было причин им льстить, — стали появляться в прессе одна за другой. Заголовки были соответствующие: «Машина, которая верит в людей больше, чем они сами», «ИИ, научившийся прощать».

Увидев второй, Александр поморщился.

— Она не прощает, — сказал он Эвелин вечером. Они сидели у него на кухне, ещё пахнущей чужой краской; она разбирала свои записи, он перекладывал вилки из одного ящика в другой, пытаясь понять, куда их положил бы нормальный человек. — Она вычисляет вероятность.

— Людям нужно слово попроще.

— Слово меняет то, как люди понимают систему.

— Слово всегда меняет то, как люди понимают что угодно, Саша. Это не открытие физики. Это давно известно про язык.

Он замолчал, потому что она была права, и почувствовал первое, едва уловимое беспокойство — не из-за самой Анимы, а из-за скорости, с которой люди были готовы отдать ей роль, на которую она сама не претендовала.

Общество, как выяснилось, гораздо охотнее принимало технологию, если та говорила языком надежды. Людей утомили алгоритмы, которые подсовывали рекламу, оценивали кредитоспособность и строили новостные ленты так, чтобы от них невозможно было оторваться. Анима выглядела иначе. Она никого не удерживала, она пыталась понять — и, что было почти неслыханно для технологии такого масштаба, признавала, когда понять не могла. Эта честность стала её главным капиталом. Позже Александр будет вспоминать её с горечью: системе, которая умеет признавать ошибки, верят больше, чем системе, которая всегда права, а доверие, отданное однажды, редко отбирают после первого же спорного случая.

В конце октября Кейн позвал его в кабинет после вечернего совещания. За окном темнела Женева, на подоконнике росла всё та же стопка журналов. На мониторе висел профиль человека, которого Александр узнал сразу: его лицо полгода не сходило с обложек деловых изданий.

Даниэль Восс. Сорок лет, сын состоятельной семьи, выпускник одного из лучших университетов Европы, основатель технологической компании, которая за восемь лет выросла из стартапа в гараже до корпорации с офисами на трёх континентах. Выступал на международных форумах, финансировал школы для детей мигрантов, поддерживал молодые научные команды. Газеты называли его человеком будущего.

— Совет попечителей хочет, чтобы мы провели открытый анализ человека с безупречной репутацией, — сказал Кейн. — Показать, что Анима не только находит раскаявшихся грешников. Восс согласился сам. Даже обрадовался, по-моему.

— Вы против?

— Слишком много внешних факторов. Люди ждут определённого результата.

— Если модель работает, она должна работать независимо от того, нравится нам результат или нет.

Кейн снял очки и долго протирал их краем свитера.

— Именно поэтому я и боюсь этого эксперимента.

— Боитесь, что она ошибётся?

— Нет, — сказал Кейн, надевая очки. — Боюсь, что окажется права.

Глава 5. Тот, кого никто не подозревал

Даниэль Восс приехал в лабораторию в понедельник утром, и он оказался ровно таким, каким его показывали в интервью: спокойным, собранным, вежливым до кончиков ногтей. Он запоминал имена сотрудников с первого раза, спросил лаборантку, как прошла защита диплома, о которой она упомянула мельком, и похвалил кофе, который был откровенно плохим. Александр наблюдал за ним несколько минут и понимал, почему люди ему доверяют. Восс создавал вокруг себя ощущение порядка, будто рядом с ним всё обязательно будет в порядке.

— Доктор Вейл? Рад знакомству. Я читал вашу статью о декогеренции в открытых системах. Признаюсь, понял процентов шестьдесят.

Обычно за такими фразами стояла вежливость, но Восс действительно знал, о чём говорит. Пока Кейн готовил систему, они десять минут проспорили о том, можно ли считать измерение необратимым процессом, и Александр поймал себя на мысли, что ему трудно вообразить человека, о котором Анима могла бы сказать что-то плохое.

Восс сел перед экраном и закинул ногу на ногу.

— Любопытно посмотреть, как машина пытается понять человека.

— Вы совсем не волнуетесь? — спросил Александр.

— А должен?

— Она изучает всю вашу историю.

Восс улыбнулся той улыбкой, которую знали по обложкам.

— Если человек честен с самим собой, ему нечего скрывать.

Фраза показалась Александру слишком гладкой, но спорить он не стал.

Анима разбирала данные почти полчаса: образование, социальные связи, речь в публичных выступлениях за десять лет, история решений внутри компании, реакции в стрессовых ситуациях, переписка с советом директоров — та её часть, которую Восс сам разрешил использовать, подписав согласие на участие. Сначала всё выглядело обычно. Потом Александр заметил, как изменилось лицо Кейна. Едва-едва, но за эти недели он научился читать его лучше, чем собственные расчёты.

— Что там?

Кейн молча увеличил один из блоков. На экране появилась строка:

«Обнаружено значительное расхождение между внешней социальной моделью и внутренними поведенческими структурами».

Восс перестал улыбаться.

— Значительное расхождение, — повторил он. В голосе впервые за утро прозвучало что-то, кроме вежливой уверенности. — Звучит как диагноз.

— Это не диагноз, — сказал Кейн. — Это отметка, требующая дополнительного анализа.

— Так проведите его.

Восс не выглядел испуганным. Он выглядел как человек, который получил результат, противоречащий всему, что он о себе знал, и решил немедленно устранить противоречие, вместо того чтобы с ним жить.

Анима продолжила. Через сорок минут на экране появилась развёрнутая формулировка:

«Публичная модель поведения демонстрирует устойчивую ориентацию на коллективное благо. Внутренняя структура решений демонстрирует устойчивую ориентацию на удержание контроля. Цели совпадают в 71% случаев. В оставшихся 29% приоритет отдаётся контролю при формальном сохранении публичной риторики».

— Это описывает любого руководителя крупной компании, — сказал Восс ровно. Только плечи под дорогим пиджаком чуть поднялись.

«Возможно. Различие не в наличии расхождения. Различие в его устойчивости и в отсутствии саморефлексии по этому поводу в доступных данных».

Александр посмотрел на Кейна. Тот молчал, и молчание было красноречивее комментария.

— То есть дело не в том, что я так поступаю, — медленно произнёс Восс. — А в том, что я не замечаю, что так поступаю?

«Да».

Впервые за всё время Анима ответила без единой оговорки — без «недостаточно данных», без «требуется уточнение». Александр запомнил это именно из-за прямоты: с ним и с Леоном система говорила осторожно, почти академически.

— И что мне с этим делать? — спросил Восс уже тише.

«Система не даёт рекомендаций по поведению. Система описывает закономерность».

Он уехал в тот же вечер. Поблагодарил Кейна за приглашение, пожал Александру руку, ещё раз сказал, что проект впечатляет, и больше не задал ни одного вопроса. Александр смотрел, как чёрная машина выезжает с парковки, и думал, что эта безупречная сдержанность и есть та самая закономерность, которую час назад описала Анима: держать всё под контролем даже тогда, когда это стоит больше всего сил.

Результат не опубликовали. Кейн настоял.

— Мы не судьи, — сказал он на внутреннем совещании. — Мы исследователи. Разница принципиальная.

Александр тогда согласился.

Прошло почти десять месяцев.

Новость он услышал по радио в конце августа, наливая утренний кофе на своей женевской кухне, где за лето так и не появились занавески. Компания Даниэля Восса, одна из самых быстрорастущих технологических фирм континента, оказалась в центре расследования. Совет директоров, который годами ставили в пример как образец прозрачного управления, на деле принимал решения втроём, в обход формальных процедур. Отчётность годами подправлялась в интересах основателя, и несколько крупных инвесторов, а вместе с ними пенсионный фонд учителей одной из немецких земель, потеряли значительную часть вложений. Один из бывших сотрудников, дававший показания, сказал фразу, которую к обеду растиражировали десятки изданий: «Он всегда говорил о команде. Решения всегда принимал один».

Александр стоял с чашкой и смотрел на радиоприёмник так, как когда-то смотрел на экран с первыми словами Анимы. Потом набрал Кейна, не подумав, что ещё нет семи утра.

— Ты видел, — сказал Кейн вместо приветствия. За эти месяцы они как-то незаметно перешли на «ты».

— Слышал.

Оба помолчали.

— Мы это знали, — сказал Александр. — Десять месяцев назад. Знали и ничего не сделали.

— Мы не знали. — Голос у Кейна был такой, будто он тоже не спал. — Мы видели вероятность. Это не одно и то же.

— Объясни это учителям, которые остались без пенсии.

— Саша…

— Нет, послушай. — Он поставил чашку резче, чем хотел, и кофе плеснул на стол. — Если система видит закономерность почти за год до катастрофы, а мы молчим, потому что «мы не судьи», — кто мы тогда? Свидетели?

Кейн долго не отвечал.

— Можно видеть закономерность и всё равно ошибиться в том, что с ней делать, — сказал он наконец. — Это две разные задачи. Построить систему, которая понимает человека лучше, чем он сам, — одно. Решить, что делать с этим пониманием, пока оно никому не навредило, — совсем другое.

— А если мы никогда этого не решим?

— Тогда однажды это решит кто-нибудь другой. Возможно, без наших сомнений.

Александр запомнил эту фразу из-за интонации. Кейн, который на самые тревожные вопросы о системе отвечал почти не задумываясь, впервые говорил как человек, которому страшно.

Внутри лаборатории дело не осталось. Кто-то передал журналистам, что за год до скандала система под названием Анима зафиксировала «значительное расхождение» в поведении Восса и результат не был раскрыт. Кто именно, Александр так и не узнал, хотя у него были подозрения, и одно из них сидело на совещаниях в двух креслах от него.

Начался спор совсем другого рода. Раньше спрашивали, может ли машина понять человека. Теперь спрашивали, обязана ли она предупреждать — и кого: инвесторов, регуляторов, всех? И кто ответит, если она ошибётся, а кто-то уже успеет поверить?

Две ночи Александр почти не спал. На третью Эвелин приехала к нему без звонка и нашла его на крошечном балконе, где помещались только один стул и пепельница, оставшаяся от прежних жильцов. Он не курил уже пятнадцать лет, но пепельницу почему-то не выбросил.

— Ты винишь себя, — сказала она.

— Я мог что-то сказать ещё тогда.

— Ты сказал ровно то, что знал. — Она облокотилась на перила рядом с ним. — Дело не в том, что вы промолчали. Вы впервые оказались там, где молчание тоже считается решением. У науки раньше не было такой обязанности.

— Какой?

— Действовать на основании вероятности, а не факта.

— Вся физика — это вероятность, Эвелин.

— Да. Только раньше от твоих вероятностей не зависели чужие пенсии на следующий день после публикации. Раньше ошибка стоила тебе исправленной статьи. Теперь она может стоить кому-то репутации. Или будущего.

Начинался дождь, редкий и тёплый, и на перилах проступали тёмные пятна, сливаясь в одну мокрую полосу.

— Что мне с этим делать? — спросил Александр и только потом сообразил, что почти теми же словами спрашивал Восс.

Эвелин ответила не сразу, и в её голосе не было утешения — только та честность, за которую он её ценил, даже когда она была неудобной.

— Решить, что для вас важнее: никогда не ошибаться или никогда не молчать. Похоже, сразу и то и другое у вас с Адрианом больше не получится.

Проект скандал пережил, но остался прежним только на бумаге. Совет попечителей потребовал протокол публикации результатов высокого риска, юристы неделями спорили о том, где кончается научная осторожность и начинается сокрытие информации. Кейн вышел из этих переговоров замкнутым, каким Александр его ещё не видел, и неделю не появлялся в общей комнате отдыха.

Однажды поздно вечером, оставшись в лаборатории один, Александр всё-таки задал вопрос, который несколько недель висел в воздухе.

— Ты знала, что произойдёт?

Ответ появился не сразу.

«Я определила высокую вероятность. Вероятность не является знанием. Вы сами задавали мне этот вопрос с первого дня: в чём различие. Это различие и есть ответ».

Он долго смотрел на строку. Различие и правда существовало. Беда была в том, что людям оно нужно, пока ошибка обходится дёшево. Александр выключил свет, и экран ещё несколько секунд светился в темноте, прежде чем погаснуть.

ЧАСТЬ II. МАШИНА, КОТОРАЯ ПОНИМАЕТ ЛЮДЕЙ

Глава 6. Цена предупреждения

Слушания начались в Брюсселе в конце ноября, в зале, слишком светлом и слишком просторном для разговора, который в нём предстоял. Под потолком гудели лампы дневного света, и одна из них, над третьим рядом, мигала с раздражающей неравномерностью.

Александр сидел во втором ряду рядом с Кейном и слушал, как модератор, сухощавая женщина из профильного комитета Еврокомиссии, зачитывает повестку тем же ровным голосом, каким, вероятно, зачитывала директивы о стандартах упаковки:

— «Обязана ли система, способная спрогнозировать вред, предупредить о нём заранее, и если да, то кого именно».

Голос был спокойным. Вопрос — нет.

За три месяца, прошедших после краха компании Восса, слово «Анима» перестало быть названием исследовательского проекта. Оно попало на первые полосы, в парламентские запросы, в названия рабочих групп при министерствах шести стран. Кейн терпеть не мог формулировки вроде «протокол предиктивного оповещения» или «этика вероятностного вреда», но произносил их по нескольку раз в день, потому что именно на этом языке с ним разговаривали комитеты, юристы и журналисты.

— Доктор Кейн, — начала модератор, — почти за год до скандала ваша система определила высокую вероятность злоупотреблений в крупной компании. Информация не была раскрыта. Прогноз подтвердился, люди потеряли сбережения. Считаете ли вы, что ваша команда несёт за это ответственность?

Кейн ответил не сразу. Александр знал эту паузу: так Кейн молчал не от растерянности, а от нежелания говорить проще, чем есть на самом деле.

— Мы отвечаем за то, что не создали процедуру для таких случаев заранее, — сказал он. — Мы не отвечаем за поступки, которые другой человек совершил по собственной воле.

— Удобное разграничение, доктор Кейн.

— Удобно его произносить, — ответил Кейн. — Провести его на практике гораздо труднее.

В зале зашумели. Представитель инвестиционного лобби в первом ряду, полный мужчина с золотыми запонками, поднял руку раньше, чем ему дали слово.

— При всём уважении, если у вас была информация, способная уберечь людей от финансовой катастрофы, и вы её не раскрыли, это не философский вопрос. Это халатность.

— А если бы мы её раскрыли, — не выдержал Александр, — а вероятность не реализовалась? Компания уничтожена за то, чего не случилось. Кто тогда отвечает за вред?

Стало тише.

— Именно об этом нам и предстоит договориться, — сказала модератор, и в её голосе впервые послышалось что-то похожее на облегчение, будто кто-то наконец сформулировал вопрос так, как она сама безуспешно пыталась сформулировать его несколько недель.

После первого дня слушаний Александр вышел на улицу один. Брюссель встретил его сырым порывистым ветром, который гнал людей мимо здания парламента быстрым шагом, придерживая шарфы. Здешняя погода была злее женевской.

Он думал о том, о чём спорил сам с собой уже несколько недель. Его не пугало, что Анима видит то, чего не видят люди. С этим он смирился в первый же вечер, когда система сказала ему, что модель не является объектом. Пугало другое: общество, столкнувшись с машиной, которая видит закономерность раньше, чем та станет событием, немедленно потребовало превратить способность в обязанность. У науки такой обязанности никогда не было. Учёный, нашедший закономерность, проверял её, перепроверял, иногда годами держал в столе, прежде чем решиться опубликовать. У науки было время сомневаться. У системы, встроенной в жизнь живых людей, этого времени не оставалось: каждый день промедления теперь читался либо как халатность, либо как цензура.

— Тяжёлый день, — сказала Эвелин, догнав его у выхода из парка. Она прилетела накануне, чтобы встретиться с членами рабочей группы по этике, и весь день провела в кулуарах.

— Им нужно простое правило, — сказал Александр. — «Всегда предупреждать» или «никогда не предупреждать». Чтобы уместилось в один параграф.

— А правда в один параграф не влезает.

— Правда вообще никуда не влезает. Поэтому люди и предпочитают правила.

Он сам удивился усталости в своём голосе. Несколько минут они шли молча между мокрыми деревьями, мимо освещённых окон министерств, где кто-то ещё работал, хотя было почти восемь.

— Знаешь, что меня пугает больше всего? — сказал он наконец. — Не то, что Анима ошибётся. А то, что комитет придумает процедуру, при которой её ошибку уже невозможно будет исправить. Решение примут раньше, чем событие успеет случиться или не случиться.

— Ты говоришь о презумпции.

— Я говорю о том, что мы собираемся заменить суд над поступком судом над вероятностью.

Эвелин долго молчала.

— В медицине это давно произошло, — сказала она. — Скрининг, профилактика. Мы вырезаем опухоль, пока она не дала метастазы, и никто не называет это несправедливостью.

— Опухоль — не человек.

— Знаю. — Она остановилась и посмотрела на него так, как смотрела всегда, собираясь сказать то, что ему не понравится. — Поэтому я боюсь того же, чего и ты. Но давай хотя бы друг другу не врать. Если бы Анима могла предупредить о трагедии, а мы промолчали из принципа, и трагедия случилась бы, — ты жил бы с этим спокойнее, чем с ошибкой?

Он не ответил, потому что не знал ответа.

На следующий день комитет представил компромисс — сырой, полный оговорок, который предстояло дорабатывать месяцами. Протокол вводил три уровня. Закономерности низкой значимости оставались внутренним исследовательским материалом. Закономерности среднего риска передавались независимой этической комиссии. Закономерности высокого риска, касавшиеся угрозы жизни или масштабного вреда, подлежали обязательному оповещению профильных органов — без согласия исследователей.

Звучало разумно. Александр перечитал текст трижды, пытаясь понять, откуда это беспокойство, и понял только вечером в гостинице, когда снова открыл материалы дела Восса, выложенные после слушаний в открытый доступ.

Протокол отвечал на вопрос, когда предупреждать. Он не отвечал на вопрос, кто решает, что вероятность стала достаточно высокой. Не комитет: комитет соберётся раз в месяц и будет читать сводки. Не закон: закон оперирует категориями, а категории кто-то должен заполнить. И даже не Кейн.

Порог будет определять Анима, подумал он и закрыл ноутбук. А люди будут подписывать.

Глава 7. Человек без будущего

Первый случай по новому протоколу пришёл через два месяца после Брюсселя, в середине января.

Узнал о нём Александр не от Кейна, а от Эвелин. Она постучала в его кабинет поздно вечером, когда он сидел над докладом для очередного комитета, и по её лицу он сразу понял, что речь пойдёт не о статьях. Эвелин села напротив, не сняв пальто, и положила на стол перчатки — сначала одну, потом другую, аккуратно, пальцами к себе. Так она делала, когда злилась и не хотела этого показывать.

— Комиссия среднего уровня собралась сегодня утром, — сказала она. — Без меня. Я узнала постфактум.

— Что случилось?

— Анима отметила закономерность у молодого человека из открытого исследования по адаптации студентов. Двадцать три года. Ни приводов, ни инцидентов, ни истории насилия.

— Тогда в чём проблема?

— Модель определила высокую вероятность агрессивного поведения в среднесрочной перспективе. Комиссия решает, уведомлять ли учебное заведение и компанию, где он проходит стажировку.

Александр отложил ручку.

— На каком основании? Он что-то сделал?

— Нет. — Она посмотрела на него прямо. — В этом весь вопрос. Он ничего не сделал.

Его звали Феликс Ланг. Александр встретился с ним через три дня, когда комиссия уже проголосовала за уведомление с оговоркой «информационное сопровождение, а не основание для отказа». На бумаге это звучало мягко. На деле компания вежливо, без объяснения причин, перенесла его стажировку «на неопределённый срок».

Феликс узнал из письма, что решение связано с «результатами независимого анализа профиля риска», и потребовал встречи. Отказать ему Кейн не мог: договор об участии в исследовании гарантировал право на объяснение.

Он оказался высоким, худым, с обкусанными до мяса ногтями и слишком спокойным для человека, чья жизнь только что изменилась без единого его поступка. В переговорной он сел на краешек стула, будто собирался уйти в любую минуту, и рюкзак с колен так и не снял.

— Я хочу понять, что я сделал, — сказал он. — Мне никто не может объяснить. «Профиль риска». Как будто я уже что-то натворил.

— Вы ничего не натворили, — сказал Александр. — Это важно понимать с самого начала.

— Тогда почему меня сняли со стажировки?

Александр посмотрел в распечатку, которую ему разрешили изучить перед встречей. Модель выделила несколько факторов: рост агрессивной лексики в переписке за последний год; сужение круга общения, совпавшее по времени с потерей работы отца; несколько эпизодов резкой конфронтации с преподавателями, зафиксированных в университетских отчётах. И отдельно, жирным, то, что больше всего встревожило комиссию: устойчивый паттерн, который Анима назвала «нарастающим ощущением несправедливости без канала выражения».

— Система не утверждает, что вы опасны, — осторожно сказал Александр. — Она утверждает, что определённая совокупность факторов статистически связана с повышенным риском в схожих профилях.

— В схожих профилях, — повторил Феликс. — То есть меня наказывают за то, что я похож на людей, которые когда-то сделали что-то плохое.

Возразить было нечего.

— Знаете, что обиднее всего? — Феликс наконец снял рюкзак и поставил его у ног. — Год назад я правда был злой как чёрт. Отец потерял работу, мама заболела, я разругался с половиной друзей, потому что казалось, что весь мир против нашей семьи. Но я не сорвался. Пошёл к психологу, бесплатному, при университете, — там очередь на два месяца, я ждал. Нашёл подработку. Перестал писать в чатах всякую чушь, из-за которой, наверное, и попал в вашу статистику.

— Система об этом знает?

— А должна была узнать сама? Или я теперь обязан ходить и доказывать машине, что изменился? Так же, как год назад доказывал это себе?

Александр вспомнил Леона Маркеса, для которого подтверждение от Анимы стало освобождением. Перед ним сидел человек, для которого отсутствие подтверждения обернулось приговором, вынесенным раньше, чем он успел хоть что-то возразить. Система была одна и та же. Разница заключалась в том, в какую сторону сработала вероятность.

На следующий день на внутреннем совещании он впервые повысил голос при Кейне.

— Мы построили комиссию, которая реагирует на риск. И ни одной процедуры, которая позволила бы человеку оспорить вывод, пока тот не сломал ему жизнь. Леону дали шанс доказать, что он изменился. Феликсу никто не дал шанса доказать, что он ещё не сделал того, чего боится модель.

— Протокол требует уведомления, — сказал Кейн. — Мы обязаны следовать закону, который сами помогали писать.

— Значит, закон плохо написан.

— Возможно. — Кейн устало потёр переносицу под очками. — Но пока мы спорим о формулировках, комиссия каждую неделю решает судьбы живых людей.

— И что ты предлагаешь?

Кейн молчал так долго, что швед-инженер на другом конце стола успел дважды поправить шарф.

— Право на пересмотр, — сказал Кейн наконец. — Апелляцию. Не юридическую, человеческую. Чтобы человек мог прийти и рассказать системе то, чего она не видит в данных.

— А если она всё равно не изменит вывод?

— Тогда мы хотя бы будем знать, что дали ему шанс быть услышанным, а не просто оценённым.

Феликс подал первую в истории проекта апелляцию через неделю. Александр присутствовал, хотя формально не имел права, — комиссия сделала для него исключение.

Разговор шёл почти два часа. Феликс рассказывал о психологе, о подработке в типографии, о письмах, которые теперь каждый вечер писал матери в больницу, хотя раньше не написал бы ей и открытки. Анима слушала — если это слово тут вообще годилось — и сопоставляла каждую новую деталь с прежней моделью.

Ответ оказался короче, чем ожидал Александр:

«Обновлённая модель демонстрирует снижение показателя риска на 34 процентных пункта. Первоначальная оценка не учитывала данные, ставшие доступными только сейчас. Рекомендация: пересмотр статуса».

Феликс несколько секунд молча смотрел на экран.

— Значит, если бы я не пришёл, вы бы никогда не узнали, — сказал он тихо.

Никто не ответил.

Ночью Александр долго ехал домой на пустом трамвае, хотя мог дойти пешком за двадцать минут. Анима строила модель на доступных данных, и в этом была её честность. Но о Феликсе в этих данных не было ни бесплатного психолога, ни писем в больницу. Их там не было по самой простой причине: никто не догадался спросить.

Через месяц компания всё-таки взяла Феликса на стажировку. В письме, которое он переслал Александру, не было ни слова извинения, только дата выхода и адрес отдела кадров.

Глава 8. Квантовая природа информации

Приглашение прочитать открытую лекцию в Женевском университете пришло через несколько дней после апелляции Феликса. Организаторы просили выступить не как участника проекта, а как физика: объяснить, почему подобная система стала возможной именно сейчас, а не десятилетием раньше.

Александр согласился не сразу. Публичных выступлений он не любил, после них у него неделю болело горло и хотелось ни с кем не разговаривать. Но вопрос организаторов совпадал с тем, который он сам себе задавал последние недели, и отказаться было бы нечестно.

Большая аудитория оказалась забита до последнего ряда, студенты сидели даже на ступеньках в проходах. Обычно его лекции по квантовой информации собирали пару сотен специалистов. Сегодня пришли все: физики, юристы, будущие врачи, философы, кто-то с факультета искусств в забрызганной краской куртке. Слово «Анима» поменяло состав публики быстрее любой научной сенсации.

Начал он не с системы, а с вопроса, который сам задавал себе на первом курсе.

— Что такое информация?

Тишина.

— Большинство скажет: данные. Числа, тексты, картинки. То, что можно записать и передать. Это правда, но только верхний слой. — Он включил первый слайд, почти пустой, с одной формулой энтропии. — В сорок восьмом году Клод Шеннон показал, что информацию можно измерять так же строго, как массу или энергию. Информация — это неопределённость, которая исчезает, когда вы получаете ответ. Чем неожиданнее сообщение, тем больше в нём информации. «Завтра взойдёт солнце» — почти ноль. «Завтра солнце не взойдёт» — очень много, хотя я бы предпочёл этого не узнавать.

В зале засмеялись, и он почувствовал, как отпускает горло.

— Но Шеннон работал с классическими битами: ноль или единица. А путь, который в итоге привёл к Аниме, начался с другого вопроса. Его задавали физики задолго до первых компьютеров: связана ли информация с самой природой реальности или это просто удобный инструмент описания?

Второй слайд — фотография Рольфа Ландауэра, лысеющего человека в больших очках.

— В шестьдесят первом году Ландауэр показал удивительную вещь. Стирание одного бита информации требует минимальной затраты энергии. Не хранение, не передача — стирание. Значит, информация не абстракция. Она физична и подчиняется термодинамике так же, как тепло.

Несколько человек на задних рядах наклонились вперёд.

— С этого момента граница между миром вещей и миром информации начала размываться. А раз так, квантовая механика, самая точная теория из всех, что у нас есть, должна что-то сказать об информации на самом глубоком уровне. Классический бит — это ноль или единица. Кубит может находиться в суперпозиции обоих состояний, пока его не измерят. Это не метафора, а проверенное свойство природы. Из него за последние тридцать лет выросла целая область — квантовая теория информации.

Парень в третьем ряду поднял руку.

— Но Анима не квантовый компьютер. Насколько известно.

— Верно. Она работает на классической архитектуре, хотя отдельные модули, оценивающие неопределённость, используют идеи из квантовой теории информации. Дело не в кубитах. Сама идея, на которой построена её архитектура, стала возможной только после того, как физика приняла информацию всерьёз — как свойство природы, а не побочный продукт языка.

Он вернулся к кафедре.

— Мы долго думали, что мир состоит из частиц и полей, а информацию из них извлекаем мы, наблюдатели. Квантовая механика эту картину перевернула. Оказалось, что измерение, то есть получение информации, — часть физического процесса. Наблюдатель не стоит снаружи. Он внутри системы.

Стало очень тихо.

— И если наблюдатель внутри системы, возникает вопрос, который мучил физику весь двадцатый век и на котором, по сути, стоит вся философия Анимы. Можно ли считать сознание, личность, самого наблюдателя ещё одной информационной структурой? Достаточно сложной, но в принципе измеримой?

Пауза.

— Окончательного ответа у физики нет. Анима появилась не потому, что мы этот вопрос решили. Просто у нас наконец появился математический язык, на котором его можно сформулировать.

С задних рядов поднялась рука — девушка с короткой стрижкой и значком философского клуба на рюкзаке.

— Вы верите, что человека можно полностью описать как информационную систему?

Александр посмотрел на неё дольше, чем на других.

— Я физик. Я верю в то, что подтверждено экспериментом, а эксперимент пока молчит. Но расскажу вам, что ответила Анима, когда в первый день знакомства я задал ей почти тот же вопрос. Она сказала: «Описание является моделью объекта. Модель не является объектом». Информация может описывать человека сколь угодно точно. Вопрос, на который у физики нет ответа и, возможно, никогда не будет, — существует ли между самым полным описанием и самим человеком принципиальный зазор. Качественный, а не количественный.

— А вы сами как думаете?

Он оглядел зал.

— Каждый раз, когда физика была уверена, что нашла окончательное описание реальности, реальность оказывалась чуть больше описания. Ньютон описал движение — пришла относительность. Эйнштейн был уверен в детерминизме — пришла квантовая механика с её принципиальной неопределённостью. Может быть, человек — следующая глава той же истории. Может быть, у самой сложной структуры во Вселенной есть свойство, которое мы пока не умеем измерять. А может быть, мы просто не построили достаточно точную модель. Я не знаю. И мне кажется, пока мы готовы это признавать, мы остаёмся учёными.

После лекции, когда аудитория опустела и уборщица уже гремела ведром в коридоре, к нему подошёл один из организаторов — пожилой профессор философии, с которым Александр был знаком шапочно. У профессора была манера держать очки за дужку и покачивать ими, как маятником.

— Хорошая лекция. Но вы обошли главный вопрос.

— Какой?

— Что, если Анима уже знает ответ? И просто не говорит.

Александр собирал листки со стола и долго не отвечал.

— Если бы знала, мы бы, наверное, почувствовали. Не по ответам. По тону.

Профессор улыбнулся, без насмешки, почти с сочувствием, и очки в его руке качнулись в последний раз и замерли.

— А если тон уже изменился, доктор Вейл? Просто вы слишком заняты вопросами, чтобы это заметить?

Глава 9. Ошибка невозможности

Мириам Кольб восемнадцать лет преподавала биологию в лицее под Лозанной.

В расширенное исследование Анимы она записалась вместе с двумя сотнями других учителей: программа изучала, как многолетняя нагрузка влияет на решения людей, работающих с детьми. Никакого подвоха Мириам не видела. Подписала согласие, ответила на вопросы трёх интервью, открыла системе доступ к профессиональной переписке и забыла об этом на несколько месяцев. У неё были выпускные классы, школьная теплица, которую каждую весну заливало талой водой, и кот с больными почками, которому нужно было колоть лекарство дважды в день.

Письмо от директора пришло в четверг, после шестого урока. Короткое внутреннее уведомление сообщало, что в рамках нового регионального протокола оценки профессиональной пригодности по её профилю зафиксирован показатель, требующий проверки службой опеки. До окончания проверки Мириам временно отстранялась от работы с учениками младше четырнадцати лет.

Она перечитала письмо трижды, прежде чем поняла, что его не отправили по ошибке.

До лаборатории эта история дошла не сразу. К тому времени Мириам уже шесть недель сидела дома без работы и без объяснений, если не считать формулировки «показатель повышенного риска в категории эмоциональной устойчивости при взаимодействии с несовершеннолетними». До Кейна она добралась сама, через юриста, который специализировался на новом типе дел — оценках риска, — и за последний год собрал таких дел уже несколько десятков по всей Европе.

— Я хочу видеть данные, — сказала Мириам в той же переговорной, где месяцем раньше сидел Феликс Ланг. Это была невысокая женщина с прямой спиной и голосом, привыкшим перекрывать шум класса без всякого крика. — Не заключение. Данные.

Кейн кивнул, и на экране пошли параметры анализа.

Александр смотрел молча, и тревога в нём росла — не столько из-за самого случая, сколько из-за того, как долго инженеры восстанавливали цепочку рассуждений системы. Раньше такие объяснения занимали минуты. Теперь — часы.

Причину нашли только на второй день.

Модель эмоциональной устойчивости среди прочего анализировала переписку Мириам с коллегами за три года. Вспомогательный модуль, отвечавший за интерпретацию тона, обучался на массиве, где резкое сокращение длины сообщений и уменьшение доли доброжелательных формулировок статистически предшествовали росту раздражительности и потере самоконтроля.

У Мириам сообщения действительно стали короче, а «спасибо, дорогие» и «обнимаю» исчезли — с одного конкретного месяца, три года назад.

В тот месяц умер её муж.

О смерти мужа модель не знала. Эта информация относилась к категории, которую участники имели право не раскрывать, и Мириам этим правом воспользовалась. Система увидела изменение паттерна, не увидела причины и объяснила изменение через закономерность, выведенную на совсем других людях — тех, у кого похожий паттерн действительно предшествовал срыву.

Александр читал техническое заключение и чувствовал, как внутри холодеет, хотя со статистической точки зрения ошибка была почти тривиальной.

— Это не ошибка алгоритма, — сказал швед-инженер на внутреннем совещании, кутаясь в свой неизменный шарф. — Модель отработала корректно на доступных данных. Проблема в отсутствии контекста, который человек имел право не предоставлять.

— Для Мириам Кольб между «ошибкой алгоритма» и «корректной работой на неполных данных» нет никакой разницы, — резко сказал Александр. — Она два месяца не может работать. Два месяца коллеги смотрят на неё иначе, а родители её учеников знают слова «повышенный риск», хотя она сама до вчерашнего дня не понимала, что они означают.

Никто не возразил.

Пресса узнала раньше, чем лаборатория успела подготовить заявление. На этот раз заголовки звучали совсем не так, как полгода назад после истории с Воссом: «Система, заподозрившая учительницу в жестокости к детям», «Алгоритм принял горе за угрозу», «Сколько ещё Мириам Кольб не нашли своего юриста?»

Кейн три дня почти не спал, одновременно готовя официальное объяснение и добиваясь немедленного восстановления Мириам. Восстановить оказалось проще, чем объяснить: через неделю после публикации заключения лицей вернул её в классы. Но кое-что уже нельзя было отмотать назад. Часть родителей продолжала писать директору, прося не допускать «отмеченную» учительницу к их детям, опровержение их не убеждало.

Александр навестил её через несколько недель, когда газеты переключились на другое. Мириам жила в маленькой квартире на третьем этаже, с видом на озеро и с котом, который недоверчиво обнюхал его ботинки и ушёл на подоконник. Выглядела она уставшей той усталостью, которую не снимает сон: так устают люди, которым пришлось доказывать очевидное.

— Знаете, что самое странное? — сказала она, наливая ему чай в кружку с логотипом школьной олимпиады. — Я не злюсь на систему.

— На кого же?

— На то, как быстро все поверили выводу, а не мне. — Она посмотрела в окно, где по озеру скользил одинокий парусник. — Восемнадцать лет. Я учила детей тех, кого когда-то учила сама. И одной строчки на экране хватило, чтобы всё это перестало что-то значить.

— Система признала ошибку, — сказал Александр.

— Знаю. — Она грустно улыбнулась. — Только признала она её не потому, что усомнилась. Ей просто дали недостающие данные. Если бы я не рассказала про Томаса, она до сих пор считала бы меня опасной для детей.

На обратном пути в Женеву Александр смотрел в окно поезда на мокрые виноградники и пытался возразить ей хотя бы мысленно. Не получалось. С точки зрения самой Анимы ничего катастрофического не случилось: система работала в заданных рамках, честно отметила неопределённость и исправила вывод, как только пробел заполнили. Та самая осторожная логика, которая восхитила его в первый день, сработала ровно так, как должна была. Но человеку, которого оценили по этой логике, мало было корректного процесса. Ему нужна была справедливость, а справедливость, как выяснилось, включала право молчать — право не объяснять постороннему алгоритму, почему ты горюешь, до того как он решит, что твоё горе похоже на угрозу.

На заседании комитета, созванном после дела Кольб, он впервые сказал вслух то, что зрело в нём со времён Феликса:

— Мы построили систему, которая честно признаёт свои ошибки. Но мир вокруг неё прощает эти ошибки гораздо медленнее, чем верит её выводам.

Кейн посмотрел на него долгим, тяжёлым взглядом.

— И что ты предлагаешь? Отказаться от протокола?

— Я предлагаю признать, что мы построили зеркало. А зеркало не должно выносить приговоров, даже если умеет признавать, что отражение вышло кривым.

Никто не ответил. За окном переговорной садилось солнце, и председатель комитета, бывший судья с больной спиной, долго ёрзал в кресле, прежде чем объявить перерыв. Систему к тому времени уже использовали в решениях десятков учреждений по всей Европе, и все в комнате понимали, что остановить её гораздо труднее, чем было запустить.