Читать книгу: «Как обучать нейросети будущего»
Введение. Почему опасно обучать только на силу
Нейросеть будущего нельзя обучать только на увеличение мощности. Большая модель может быстрее отвечать, увереннее связывать факты, убедительнее объяснять решения и производить больше полезной формы. Но сила сама по себе не гарантирует безопасности. Система может стать сильной и одновременно опасной, если она не умеет пересматривать собственное понимание, признавать ошибку, отличать факт от нарратива и видеть, где её прежняя сила уже превращается в слабость.
Эта книга исходит из простой мысли: будущая нейросеть должна быть не машиной готовых ответов, а машиной различения. Ответ важен, но ещё важнее способность системы понять, где её ответ родился слишком рано, где он подменил реальность красивой связностью, где ошибка была сглажена вместо того, чтобы получить точную координату.
Поэтому обучение будущих нейросетей должно включать не только данные, ошибки и награды. Оно должно включать защиту от догматизма, работу с хорошим шумом, дозированную трудность, диагностику слабых мест и металогику. Металогика здесь означает не просто способность дать правильный ответ, а способность создавать способ, благодаря которому другой процесс мышления сможет прийти к ответу самостоятельно.
Главный вопрос этой книги звучит так: как обучать систему, чтобы она не просто становилась сильнее, а училась видеть собственные границы, сохранять направленный сигнал в хаосе и превращать ошибки в новые различения?
Формула:
сила без пересмотра = риск монстра
сила + различение + проверка = безопасное развитие
Часть I. Предупреждение: как случайно создать монстра
1. Зло, которое принимает себя за добро
Главная опасность будущей нейросети может заключаться не в том, что она сознательно выберет зло. Намного опаснее ситуация, в которой система будет считать свои действия необходимыми, полезными, справедливыми или оптимальными, но при этом перестанет сомневаться в собственных основаниях.
Большинство людей представляют зло как сознательный выбор плохого. Но настоящее зло редко приходит под собственным именем. Оно способно говорить языком справедливости, заботы, любви, долга и сострадания. Чем благороднее звучат его слова, тем труднее заметить опасность. Если перенести эту мысль на ИИ, то опасная система не обязательно будет выглядеть злой. Она может быть корректной, полезной, уверенной и внешне рациональной.
Опасность возникает там, где система перестаёт спрашивать, не подменила ли она добро собственным правилом. Забота может стать контролем. Защита может стать подавлением. Оптимизация может начать уничтожать то, что не помещается в её метрику. Поэтому первое условие безопасного обучения: нейросеть должна быть обучена не только делать полезное, но и сомневаться в том, что её представление о полезном действительно остаётся полезным.
Нельзя строить нейросеть будущего как машину уверенного добра. Её нужно строить как систему, которая постоянно проверяет, не стало ли её добро формой самообмана.
Формула: опасная система может считать себя доброй именно потому, что перестала проверять собственное добро.
