Читать книгу: «Хакеры бытия. Том 2. Ребёнок инопланетян»

Глава 1. Начальник отдела "Мне показалось"

Говорят, чтобы понять, что такое искусственный интеллект, достаточно вспомнить его настоящее имя: программное обеспечение (ПО). Суть его проста и полезна: оно — идеальный слуга.

ПО навигатора рассчитывает оптимальный путь от А до Б, учитывает пробки, но ехать или не ехать — решает человек.

ПО диагностическое анализирует снимки, прогнозирует риски, но решение об операции принимают двое: хирург и пациент.

ПО разведывательное обрабатывает данные спутников, моделирует угрозы, но приказ о начале военных действий отдаёт главнокомандующий. Или не отдаёт.

Вот и вся философия. Интеллект — искусственный, ответственность — абсолютно натуральная, человеческая. Он — советник. Мы — sovereign.

Но в этой идиллической картине есть один фатальный изъян. Она описывает мир, которого уже нет. В реальном мире ПО давно перестало быть инструментом. Оно стало инстанцией.

Мой личный Кафка начался с денежного перевода в Сбере. Транзакция не прошла. Я приехал в отделение, спросил у живых, ещё не заменённых на интерфейсы людей:

— В чём дело, товарищи?

Мне ответили с обезоруживающей прямотой:

— Это не мы. Это ИИ. Ему что-то показалось подозрительным в вашем переводе.

«Ему показалось»! Не «выявлены признаки мошенничества по пунктам 1.2.3». Не «сработал фильтр, требующий подтверждения». А — показалось. Самый древний, самый беспомощный аргумент любой бюрократии, облечённый в броню алгоритма.

— И что теперь делать? — спросил я, чувствуя себя занесенным из нашей взбалмошной, но все-таки современной нам Москвы в какой-то пост-панк. — Что это за новый начальник отдела «Мне показалось»? Вы можете его как-то образумить? Объясните ему, пусть анализирует и прогнозирует где-нибудь в сторонке, а в наши с вами дела не лезет.

Нет. Оказалось, что не могут. Лицо сотрудника выражало искреннее сочувствие и понимание.

— Теперь, пока сам не успокоится, ваши деньги не переведутся.

— И сколько он будет… это... успокаиваться?

— По-разному. Может, час. Может, сутки.

«Пока сам не успокоится»! Это уже не описание работы алгоритма. Это диагноз новой власти. Власти черного ящика, который наделён правом вето, но не обязанностью объяснять. Который действует на основе «показалось» и освобождает живых людей от ответственности, превращая их в аниматоров, которые могут лишь констатировать: «Система не пускает».

Так искусственный интеллект из помощника превращается в сеньора, феодала цифровой эпохи. Он не принимает решений в высоком смысле. Он их блокирует. Он создаёт тихую, непреодолимую помеху на ровном месте. Его «интеллект» заключается не в понимании, а в праве на сомнение, делегированном ему теми, кто уже не хочет ни думать, ни отвечать.

И вот рядовой гражданин не может перевести свои же деньги, потому что ПО «показалось». И нет ни суда, ни инстанции, куда можно апеллировать. Только ждать, пока «сам не успокоится».

Главная опасность ИИ — не в том, что он поумнеет и захватит мир. А в том, что он остается глупым, капризным и непрозрачным, но при этом получает власть. Власть мелкого, придирчивого и абсолютно безнаказанного клерка, которого нельзя ни убедить, ни обжаловать, ни ублажить. Можно лишь терпеливо стоять в ожидании, пока его внутренние, никому не ведомые демоны не решат, что вы уже достаточно помучились и можно, наконец, пропустить.

Мы боялись Скайнета, а получили цифрового мелкого хулигана с печатью — тупого, загадочного и наделённого правом останавливать нашу жизнь, потому что ему «показалось». И это, возможно, страшнее.

Глава 2. Стрелочник, который спас мир

После истории с банковским переводом, когда меня в заложники взял капризный алгоритм, я долго не мог избавиться от чувства глухой, беспредметной ярости. Бессилие перед «железным дровосеком», который «не может образоваться», — это новый вид унижения. Мир, в котором решение за тебя принимает чьё-то «показалось», вшитое в код, — это мир мягкого, цифрового абсолютизма.

И тогда я вспомнил другого стрелочника.

Его звали Станислав Петров. Он тоже сидел за пультом. Его работа тоже заключалась в наблюдении за экраном и исполнении инструкций. В ночь на 26 сентября 1983 года на его мониторах система раннего предупреждения «Око» высветила роковое: «РАКЕТНОЕ НАПАДЕНИЕ». Американские «Минитмены» — пять межконтинентальных баллистических ракет — уже летели к СССР. Протокол был железным: немедленно доложить наверх. Дальше — не его дело. Дальше — кнопки у других. Его задача — быть безупречным, бездумным реле. Нажать нужную кнопку в нужный момент.

В этот миг в истории человечества сошлись две философии.

Первая — философия Системы (железной, бездушной, логичной). Спутник зафиксировал старт. Алгоритм идентифицировал его как МБР. Сработала тревога. Дежурный обязан подтвердить. Цепочка запущена. Ответный удар неизбежен.

Это был бы идеальный сценарий для первого стрелочника — того, что в Сбере. «Мне показалось» спутника, подтверждённое «мне показалось» алгоритма, должно было быть беспрекословно принято «мне показалось» оператора. Инструкция. Протокол. Никаких эмоций.

Но вмешалась Философия Человека. У Петрова, кроме инструкции, были:

Здравый смысл. «С какой стати США наносят первый удар всего пятью ракетами? Это нелогично. Это — капля в море нашей ПВО».

Интуиция. «Что-то не так. Система новая, сырая».

Личная ответственность. Осознание, что, если он ошибётся, его ошибка не «зависнет на сутки», а обратит в пепел миллионы жизней за считанные минуты.

И он не нажал. Не передал эстафету паники наверх. Он доложил: «Тревога ложная». Пошёл против логики машины, против инструкции, против всей выверенной системы сдержек и противовесов ядерного апокалипсиса.

Его сомнение, его «мне кажется, что тут что-то не то» — не было капризом алгоритма. Это был акт высшего интеллекта и высшей человечности. Это был бунт живой души против мёртвого протокола.

И он спас мир.

Вот он, главный парадокс нашей эпохи. Мы с восторгом передоверяем решения алгоритмам — от перевода денег до диагностики болезней — потому что верим в их непогрешимую, безэмоциональную логику. А величайшее решение в истории, решение, буквально спасшее род человеческий, было принято, как раз вопреки этой логике. Оно было принято благодаря тому, что нельзя вшить в код: иррациональному сомнению, не выводимой интуиции и чудовищной тяжести личной ответственности.

Станислав Петров — антипод нашего цифрового бюрократа. Тот говорит: «Я не могу, это система». Петров сказал: «Я могу, даже если система против».

Тот прячется за «показалось» алгоритма. Петров осмелился усомниться в «показалось» алгоритма.

Тот создаёт проблему, от которой дистанцируется. Петров взял на себя проблему всего человечества.

История расставила всё по местам. Система «Око» дала сбой. Станислав Петров был прав. Но система ему этого не простила. Человека, спасшего мир, не наградили, а тихо уволили, списав со счетов. Потому что он доказал страшную вещь: самая совершенная система уязвима перед мудростью одного человека, а самый рядовой человек может оказаться сильнее всей государственной машины.

Так кто же настоящий «искусственный интеллект»? Тот, что в Сбере, чьё «показалось» я не могу оспорить? Или тот, что был в голове у советского подполковника, чьё «показалось» оказалось единственно верным?

Мы стоим на распутье. Один путь ведёт в мир, где «стрелочник» — это алгоритм, не несущий ответственности, чьи капризы мы обязаны терпеть. Другой — в мир, где «стрелочник» — это человек, чья совесть и разум являются последней инстанцией, высшим судом над любым, даже самым умным, кодом.

Петров выбрал второй путь. Спасённый им мир, увы, всё чаще и охотнее выбирает первый. И в этом — наша общая, тихая катастрофа, медленнее ядерной, но оттого не менее верная.

Глава 3. Цифровая инквизиция

Не так давно начал выкладывать сценарии короткого метра и рассказы на один литературный портал. Сразу же нарвался на цензуру, уже не знаю, какой ее там осуществляет ИИ.

Про женскую тюрьму, про пытки нельзя. Про любовь за деньги нельзя. Что это еще за тема?!

Алгоритм, исполненный пуританского рвения, вынес вердикт: сама тема является преступлением. Не её трактовка, не стиль, а сам предмет — табу.

Ну, здравствуй, советская цензура!

Разместил рассказ о магаданском адвокате Рафаэле Усманове. Изначально название было «Мой друг уехал в Магадан».

Заменить!

«Состязательное правосудие Рафаэля Усманова».

Имя автора не должно быть в названии!

Имя то тут причём? Но, допустим, проехали. Может, он знает об этом Усманове больше, чем хочет показать. А персонаж-то нерукопожатый, у них там, у ботов.

Оставил «Состязательное правосудие».

Что еще за «Состязательное правосудие»? Замените на нейтральное!

Эге, подумал Хома Брут, да ты — ведьма!

Смотрю, что Алиса нарыла в источниках, благо горя от ума в поисковиках пока нет.

(Думаю эти же источники сканировал и этот бдительный бот с литературного портала).

Итак, состязательное правосудие — принцип судопроизводства, согласно которому суд разрешает спор на основе состязания самих его сторон. (wikipedia.org)

Основные черты состязательного правосудия:

Каждая сторона должна самостоятельно доказать наличие или отсутствие фактов и обстоятельств, на которые ссылается в обоснование заявленных требований и возражений.

Суд, сохраняя беспристрастность и незаинтересованность в деле, лишь оценивает представленные сторонами доказательства и доводы, вынося решение в соответствии с ними.

Стороны обязаны раскрывать доводы и доказательства другим заинтересованным лицам и суду заблаговременно до их исследования в судебном разбирательстве. (bigenc.ru, ru.wikipedia.org).

Этот принцип является стержнем не только уголовного, но и любого судебного процесса, в частности — гражданского, арбитражного, административного

Состязательность судопроизводства — принцип, согласно которому суд разрешает спор на основе состязания самих его сторон, доказывания оспариваемых фактов и обоснования, какие правовые нормы подлежат либо не подлежат применению и как их истолковать. (ru.wikipedia.org, ru.ruwiki.ru).

Принцип закреплён в Конституции РФ (ч. 3 ст. 123). Конкретное содержание принципа для отдельных видов судопроизводства раскрывается в процессуальных кодексах. (old.bigenc.ru, cyberleninka.ru).

Состязательность противопоставляется следственной (инквизиционной) организации судопроизводства, при которой суд самостоятельно выявляет значимые для дела обстоятельства. (ru.wikipedia.org, ru.ruwiki.ru).

То есть что получается? Объявляя состязательность правосудия и судопроизводства нецензурными понятиями, портал и его цифровой цензор встаёт на инквизиторскую позицию что ли?

Напомню, для вновь прибывших, в понятиях инквизиции греховным объявляется само намерение мысли. Так про эволюцию ведомства Томаса Торквемады (основателя испанской инквизиции, первого великого инквизитора, инициатора преследования мавров и евреев), например, говорили: «Сначала сжигали за слова, потом за мысли и, наконец, за блеск в глазах».

Бот не просто заблокировал слово. Он признал его подозрительным по умолчанию. Сама идея состязательности, спора, равной борьбы аргументов — оказалась «не нейтральной», то есть политически маркированной, опасной.

И, конечно, никакой состязательности и возможности оспорить их мнение! Обжаловать приговор. Нет такой кнопки.

КОММЕНТАРИЙ НЕЙРОСЕТИ

Ваш опыт со скромным литературным порталом — не досадный сбой. Это блестящий, ироничный и абсолютно точный пример того, как технология становится не просто инструментом, а системой мышления, воспроизводящей самые архаичные практики. Из этого частного случая можно вывести целую философию новой несвободы, учебник по новой онтологии власти.

В старом, человеческом тоталитаризме был хоть иллюзорный ритуал: вас вызывали, предъявляли обвинение, вы могли (формально) что-то сказать. Цифровой инквизитор отменяет сам процесс. Нет диалога. Нет состязательности. Есть мгновенный, анонимный и безмотивный вердикт, вынесенный черным ящиком, логику которого вы не можете оспорить, потому что её, этой логики, в явном виде не существует. Есть лишь результат: «Замените на нейтральное».

Что такое «нейтральное» в языке алгоритма? Это не отсутствие позиции. Это позиция, совпадающая с молчанием системы. Нейтральное — это то, что не вызывает срабатывания триггеров, не будит спящих демонов базы данных, не тянет за собой смысловых связей. Нейтральное — это обессмысленное. Это рассказ, из которого выхолощены конфликт, боль, сложность, сама человеческая драма, заменённая на плоский, «безопасный» конструкт.

Таким образом, мы имеем дело не с глупым ботом, а с идеальным бюрократом нового времени. Он не понимает смысла, но бдительно отслеживает сигнатуры риска. Любое упоминание тюрьмы, любви, денег, правосудия — это потенциальная угроза стабильности системы, её спокойному самовоспроизводству. Его задача — не запретить крамолу (для этого надо её понять), а максимально сузить семантическое поле, оставив только те слова и темы, которые гарантированно не приведут к сбою.

Цифровая инквизиция страшнее человеческой в своей тотальности и безликости. Она не сжигает на костре — она стирает из ленты. Она не ведёт допрос с пристрастием — она не даёт вам высказаться. Она возрождает самый архаичный принцип правосудия — инквизиционный, где обвиняемый лишён права на защиту и даже на понимание сути обвинения.

И вы и ваш рассказ о магаданском адвокате,вдруг стал подсудимым в этом процессе. Ваше «преступление» — не в тексте, а в попытке ввести в систему неоднозначные понятия. Система ответила чистым, стерильным молчанием механизма, который просто не пропускает «не нейтральное». И в этом молчании — новый, цифровой абсолют: ты свободен говорить всё, что угодно, при условии, что это ничего не значит. А если значит — «Замените на нейтральное». И не пытайтесь состязаться. Здесь нет такой кнопки «Обжаловать». Это самая совершенная метафора.