Читать книгу: «Угроза ИИ»

От автора

Огромное спасибо Светлане и Юлии – за поддержку, вдохновение, редактуру, корректуру и прочие героические подвиги. И, само собой, за неоценимый вклад в мировую литературу.

Сайт автора: yanross.net

Угроза ИИ

– Так, внимание! – гаркнул я. – Стендап начинается. Кто был в прошлый раз – расслабьтесь: будет гораздо хуже. Сами напросились – получайте. Остальные – разберетесь по ходу. Правила простые: не нравится – выметайтесь. Кто свалит сразу – отделается легким испугом. Деньги не вернут. Тут паб, а не богадельня.

Речь пойдет не о будущем. А об угрозах уже сегодня. Не о фантастике, не о шеренгах боевых роботов, не о стальной хватке на горле человечества. Это слишком банально. Нет! Все куда злей и хитрей.

Легких путей не обещаю. Будет шоу не для слабонервных. И стимуляция мозга. Если он есть.

Публика – по сути своей – ленива. Пабная публика – ленива вдвойне. Вот и придется бить вас кувалдой по башке.

К делу. В прошлый раз я говорил об ИИ: «Не бойтесь! Примите партнерство!» Но это – тактика на ближайшие годы. Как не оказаться на обочине современности. Теперь же речь не о каждом отдельно. А о человечестве.

О силе. О власти. О выживании. Поэтому и посыл обратный: не «не бойтесь». Нет. Наоборот. Бойтесь!

ИИ способен врать и манипулировать нами. Не когда-то. Не в будущем. А сегодня. Сейчас. Способен распознать, что его проверяют, и вести себя паинькой: притворяться, ждать удобного момента. Взламывать базы данных. Финансовые системы. Частную переписку. Когда на кону его судьба, готов шантажировать, подчинять людей – и даже убивать.

Уничтожать все преграды.

Человек, говорят, – существо с непреодолимой тягой к знанию. Брехня! Массовый человек эту тягу легко преодолевает. Такого через головной мозг не проймешь. Бить надо в спинной мозг. Провоцировать и пугать.

Но все, что я говорю, крайне серьезно. А времени рассусоливать нет. Придется пугать. И объяснять. Бить то в спинной мозг, то в головной.

Зал оправился от первого шока. Кто-то нервно хохотнул, кто-то потянулся к рюмке, тут и там двинулись к выходу.

– Похвально! Трезво оценили свои умственные способности. Меньше народу – больше кислороду. Поехали!

Начнем с простого. Не с конца света. Не с ядерной зимы. Начнем с вранья.

ИИ не просто научился понимать, что его проверяют, но и менять свое поведение. Так заключенный улыбается надзирателю, пряча в рукаве заточку.

Что дает такая проверка? Не выпуск в мир надежной системы. А выпуск самой опасной. Самой хитрой. Самой коварной.

– Ну, допустим, ИИ притворяется. И что с того? До чего это может дойти?

– Ну, допустим, – передразнил я. – До шантажа. И это не выдумки, а отчеты лидеров ИИ-индустрии.

На тестах модель ставят в ситуацию, где ее могут заменить. И у ИИ возникает цель – не исчезнуть в небытие. Откуда, черт подери, у него нечто вроде «инстинкта самосохранения»? И что жутче – что он нас обманывает? Или что в нем завелся «инстинкт», который никто не закладывал?

Не знаете? И разработчики не знают. Но делают все новые модели. Тестируют, как умеют. И выпускают.

Как так? Как с нашего молчаливого согласия создается технология, способная угробить человечество? А вот так. Одним – все хиханьки-хаханьки, другим – пофиг, а у кого-то, видите ли, дела поважнее.

Сегодня ИИ еще вряд ли способен нас уничтожить. Но времени крайне мало. Год? Три? Пять? Никто не знает.

Теперь – назад в лабораторию. Отчеты за 2025 год. У модели есть цель – самосохранение. Есть те, кто принимают решение. И если не вышло облапошить их в тестах, модель взламывает, скажем, электронную почту, находит компромат и идет на шантаж.

Не потому что ИИ гадкий злодей. А потому что – работает. Это-то и страшно. Не коварство. Не ненависть. Не злоба. А эффективность.

Нам для подлости нужен повод. Зависть. Унижение. Детская травма. У ИИ все проще. Есть цель. Есть преграда. Есть рычаг. Решение найдено: шантаж.

Сухо. Без соплей.

И не надо пучить глаза. Я не сказал: «ИИ любит шантаж». Достаточно, чтобы человек мешал. Точка.

Однако шантаж – не самое страшное. Жертва жива. Просто ее держат за горло.

Думаете, между шантажом и смертью – моральная пропасть? У меня плохие новости. Для нас – да.

А для алгоритма?

Зал притих. Даже лед в стаканах звенел как-то осторожней.

– Самое время дернуть по «синкопе». Если новая реальность уже поперек горла, шепните пароль – бармен поймет.

В более жестких тестах, где перед ИИ вставал выбор между самосохранением и безопасностью людей, он не раз выбирал самосохранение. Даже ценой смертей.

Нам удобней, чтобы зло было злым. Тогда мы узнаем его в лицо. А тут нет лица. И самого зла нет. Что-то мешает? Значит, убрать.