Бестселлер

На краю пропасти. Экзистенциальный риск и будущее человечества

Текст
Автор:
4
Отзывы
Читать фрагмент
Отметить прочитанной
Как читать книгу после покупки
Нет времени читать книгу?
Слушать фрагмент
На краю пропасти. Экзистенциальный риск и будущее человечества
На краю пропасти. Экзистенциальный риск и будущее человечества
− 20%
Купите электронную и аудиокнигу со скидкой 20%
Купить комплект за 1148  918,40 
На краю пропасти. Экзистенциальный риск и будущее человечества
На краю пропасти. Экзистенциальный риск и будущее человечества
Аудиокнига
Читает Андрей Финагин
649 
Синхронизировано с текстом
Подробнее
Шрифт:Меньше АаБольше Аа

Более того, будущее – это не единственный моральный ориентир при оценке экзистенциальной катастрофы. Он кажется мне самым важным и сильнее других заставляет меня посвящать время и силы этой проблеме, но существуют и другие ориентиры, связанные с другими моральными традициями. Давайте кратко проанализируем, как забота об экзистенциальном риске может проистекать из наших представлений о прошлом, о нашем характере и нашей космической роли. Именно благодаря этому люди, имеющие разные представления о морали, могут прийти к единому выводу.

Что мы видим в прошлом?

Мы не первое поколение. Наша культура, институты и нормы, наши знания, технологии и благосостояние постепенно формировались нашими предками на протяжении десяти тысяч поколений. В прошлой главе мы увидели, что выдающийся успех человечества был основан на нашей способности к межпоколенческой кооперации – на умении перенимать знания у родителей, дополнять их и затем передавать детям. Без такой кооперации у нас не было бы ни домов, ни ферм, ни танцевальных или песенных традиций, ни письменности, ни наций[108].

Эту мысль прекрасно выразил политолог Эдмунд Бёрк, который придерживался консервативных взглядов. В 1790 году он написал об обществе:

Это общество, в котором должны развиваться все науки и искусства, все добродетели и совершенства. Такая цель может быть достигнута только многими сменявшими друг друга поколениями – поэтому общественный договор заключается не только между ныне живущими, но между нынешним, прошлым и будущим поколениями[109].

Здесь могут найтись причины беречь человечество, уходящие корнями в наше прошлое, – обязательства перед нашими дедами, а также перед нашими внуками.

Наши предки положили начало великим проектам, с которым ни одному поколению не справиться в одиночку. Это такие проекты, как стремление положить конец всем войнам, построить справедливый мир и изучить Вселенную. Еще в 65 году нашей эры Сенека Младший четко обозначил такой масштабный межпоколенческий проект:

Придет время, когда усердие долгих поколений вытащит в один прекрасный день на свет все то, что скрыто сейчас от нас. Для такого исследования одной жизни недостаточно, даже если вся она будет посвящена небу […] Все это будет разъясняться постепенно в долгой череде преемства. Но придет время, и потомки наши удивятся, что мы не знали столь простых вещей […] Пусть потомки тоже внесут свою лепту в исследование истины […] Люди грядущего поколения будут знать многое неизвестное нам, и многое останется неизвестным для тех, кто будет жить, когда изгладится всякая память о нас[110].

Поразительно, что к нам столь прямо обращаются через такую бездну времен и что реализация этого двухтысячелетнего плана продолжается[111].

Ни человек, ни целое поколение людей не могут довести до конца такие масштабные проекты. Но человечество может. Мы работаем вместе, и каждое поколение продвигается чуть дальше, расширяя возможности, наращивая ресурсы и развивая институты, чтобы будущие поколения могли сделать следующий шаг.

Когда я думаю о непрерывной последовательности поколений, которая тянется к нашему времени, и обо всем, что им удалось создать для нас, мне хочется склонить перед ними голову. Меня переполняет благодарность и поражает грандиозность наследия и невозможность хоть как-то отплатить за оказанную услугу. Дело в том, что сотню миллиардов человек, которым я обязан всем, уже не вернуть, а созданное ими гораздо больше моей жизни, больше всего моего поколения.

Это верно и на личном уровне. В первые месяцы после рождения моей дочери я осознал, как много делают и делали для меня мои родители. Я был поражен. Я поговорил с ними, поблагодарил их и извинился, отметив, что никогда не смогу им отплатить. Улыбнувшись, они сказали, что жизнь устроена иначе: дети не возвращают долги родителям, а отдают их следующему поколению.

Мои родители не философы. Однако их слова показывают, каким еще образом прошлое может служить обоснованием наших обязательств перед будущим. Поскольку время движется только вперед, гораздо проще помогать тем людям, которые приходят в этот мир после нас, чем тем, кто жил раньше, и потому, анализируя партнерство поколений, важно учитывать его асимметрию: обязательства в нем направлены лишь в одну сторону, а долги отдаются следующим поколениям. С такой точки зрения наши обязательства перед будущими поколениями могут быть обусловлены тем, что наши предки трудились ради нас, когда мы сами были будущими поколениями[112].

Таким образом, если мы уроним эстафетную палочку и погибнем в результате экзистенциальной катастрофы, то подведем своих предков во многих смыслах. Мы не сумеем воплотить в жизнь их мечты, не оправдаем доверия, которое они возлагали на нас, их наследников, а еще не справимся с возложенной на нас задачей отплатить будущим поколениям за труд прошлых на наше благо. Следовательно, пренебрегая экзистенциальным риском, мы подведем не только людей будущего, но и людей прошлого.

Кроме того, возникнет риск уничтожить все ценное, что есть у нас из прошлого и что мы хотели бы сохранить[113]. Некоторые философы утверждают, что некоторые ценности нужно не продвигать, а защищать и оберегать, лелеять и боготворить[114]. Мы часто воспринимаем так ценность культурных традиций. Мы видим коренные языки и жизненные уклады, которые оказываются под угрозой и могут даже навсегда исчезнуть из нашего мира, и нас переполняет желание сберечь их и защитить от будущих угроз.

 

Человека, воспринимающего таким образом и ценность человечества, возможно, не слишком тронет потеря того, что могло бы быть в будущем. Но даже его ужаснет вымирание: разрушение всех соборов и храмов, исчезновение всех стихов на всех языках, полное и окончательное уничтожение всех культурных традиций, которые знала Земля. Перед лицом серьезной угрозы вымирания или необратимого коллапса цивилизации традиция, основанная на сохранении или пестовании богатства человечества, тоже потребовала бы действий[115].

Наконец, у нас могут быть обязательства перед будущим, проистекающие из пороков прошлого. Дело в том, что мы могли бы искупить некоторые из своих прошлых ошибок. Если бы мы потерпели поражение сейчас, у нас не получилось бы выполнить стоящие перед нами задачи по устранению ущерба, нанесенного планете: избавиться от загрязнения и мусора, вернуть климат в доиндустриальное состояние, восстановить былое великолепие экосистем. Можно также вспомнить, что некоторые из величайших проявлений несправедливости наблюдались не при взаимодействии индивидов, а при взаимодействии групп: систематическое преследование, кража земель, геноцид. Нашей обязанностью может быть признание этих ошибок и увековечение памяти о них, преодоление несправедливости, совершенной в прошлом. У тех, кто извлек выгоду из этих ситуаций, могут быть и способы частично загладить или искупить свою вину. Экзистенциальная катастрофа лишит нас последней надежды на это.

Цивилизационные добродетели

При хорошем раскладе человечество пребывает на раннем этапе жизни: мы пока подростки и только предвкушаем замечательную зрелость. Как и любой подросток, человечество стремительно обретает свою полную силу и жаждет возможности поиграть мускулами и испытать каждую свою новую способность, как только обретает ее. Мы редко задумываемся о будущем. Да, порой мы рассуждаем о “долгосрочной перспективе”, но обычно имеем в виду следующие десять-двадцать лет. Для человека это долго, для всего человечества – лишь краткий миг.

Как и подростку, человечеству нет нужды в подробностях планировать свою будущую жизнь. Но ему необходимо строить планы, учитывая продолжительность и примерные очертания этого будущего. Иначе нам не стоит и надеяться, что мы поймем, чем рисковать и какие навыки развивать, чтобы реализовать свой потенциал.

Как многие подростки, человечество беспокойно и безрассудно, порой на удивление. Иногда это проистекает из неумения должным образом оценить краткосрочные выгоды в сравнении с долгосрочными интересами. Но чаще дело в том, что мы совершенно не принимаем в расчет свое отдаленное будущее, вовсе не учитывая его в процессе принятия решений. Как и подростки, мы часто рискуем очертя голову, не делая никакого сознательного выбора.

Такая аналогия позволяет нам взглянуть на свое поведение в новом ракурсе. Вместо того чтобы рассматривать нравственный аспект предпринимаемых отдельным человеком действий, которые оказывают влияние на других людей, можно изучить черты и наклонности всего человечества и понять, каким образом они повышают или снижают наши шансы на процветание. Рассматривая человечество как единую группу, состоящую из всех людей, живших во все времена, мы получаем представление о том, в чем обычно заключаются достоинства и недостатки способности человечества достигать процветания. Это добродетели и грехи в самом крупном масштабе – их можно назвать цивилизационными добродетелями и грехами. Можно придавать им фундаментальное нравственное значение, а можно просто с их помощью находить в нашем характере существенные изъяны и предлагать способы избавления от них.

С этим помогают не все, но многие добродетели. Мы не проявляем должного внимания к рискам для всего нашего будущего, поскольку нам недостает благоразумия. Ставя интересы ныне живущего поколения выше интересов всех будущих поколений, мы демонстрируем недостаток терпения[116]. Признавая важность своего будущего, но тем не менее не ставя его в приоритет, мы показываем недостаток самодисциплины. Когда, отступив назад, мы перестаем стремиться к будущему – или решаем, что ничего хорошего в нем не будет, – мы демонстрируем недостаток надежды и упорства, а также неумение брать на себя ответственность за собственные действия[117].

В своей прославленной работе о добродетелях Аристотель предположил, что наши добродетели определяются практической мудростью. С цивилизационными добродетелями дело обстоит точно так же. Наша мощь продолжает нарастать, и нужно, чтобы с ней нарастала и наша практическая мудрость.

Космическая значимость

Науке только предстоит решить великую загадку о том, одни ли мы во Вселенной[118]. Такие выдающиеся астрономы, как Мартин Рис, Макс Тегмарк и Карл Саган, полагают, что если мы действительно одни, то наше выживание и наши действия могут иметь поистине космическое значение[119]. Хотя мы, несомненно, меньше галактик и звезд и существенно скромнее сверхновых и черных дыр, мы, возможно, представляем собой один из самых редких и ценных элементов космоса[120]. И наша значимость определяется тем, что именно делает нас уникальными.

 

Если мы единственные моральные агенты, которые когда-либо появятся в нашей Вселенной, то есть единственные существа, способные принимать решения, понимая, что такое хорошо и что такое плохо, то ответственность за историю Вселенной лежит на нас одних. У нас есть один на все времена шанс сделать Вселенную лучше и справедливее, действуя в интересах каждого. Если у нас ничего не получится, навсегда будет уничтожен не только потенциал человечества, но и потенциал любого морального действия.

Если же мы единственные существа, способные задумываться о Вселенной, то у нас может быть еще одна причина пытаться постичь ее, ведь только с нашей помощью часть Вселенной сможет разобраться в законах, управляющих всем космосом.

А если Земля – это единственное во Вселенной место, где когда-либо зародится жизнь, то вся жизнь на Земле имеет ключевое значение. Земля может навсегда остаться единственным местом, где в каждой капле воды скрывалась такая сложность, единственным местом, где что-либо жило и умирало, единственным местом, где что-либо чувствовало, думало, любило. А человечество может остаться единственной формой жизни, способной распоряжаться этой жизнью, оберегать жизнь от природных катастроф, а затем и обеспечивать ей процветание во всем космосе.

С позиции человечества

Анализ нашего положения с позиции человечества – одна из ключевых тем этой книги. Как правило, этика рассматривается с позиции индивида: как я должен поступить? Иногда она рассматривается с позиции группы, государства и даже (в последнее время) с позиции всех, кто сегодня живет на земле. Понимая, что требуется от группы, ее члены осознают, какие роли отводятся каждому из них.

Порой нам нужно заходить еще на шаг дальше и рассматривать этику с позиции человечества[121]. Не только ныне живущего поколения, но и человечества сквозь века, то есть с учетом всего, чего мы достигли на памяти последних десяти тысяч поколений и чего можем достичь в грядущие эпохи.

Такая позиция позволяет нам увидеть, как наше время вписывается в более долгую историю и насколько высоки сегодня ставки. Благодаря этому меняются наши представления о мире и нашей роли в нем, а наше внимание переключается с вещей, влияющих на преходящее настоящее, на вещи, которые могут фундаментальным образом менять облик отдаленного будущего. Что важнее всего для человечества? И какая роль в этом плане отводится нашему поколению? Какая роль отводится мне?[122]

Разумеется, человечество не индивид. Но бывает полезно думать о группах как об агентах, изучая их поведение через анализ убеждений, желаний и намерений команд, компаний и государств. Задумайтесь, как часто мы говорим о стратегии компании, интересах нации и даже о том, чего надеется достичь государство, когда ведет свою игру. Субъективные состояния групп обычно не столь последовательны, как у индивидов, поскольку между индивидами, входящими в группу, нередко возникают трения. Впрочем, некоторые метания и внутренняя непоследовательность свойственны и индивидам, и понятие “групповой агент” оказалось незаменимым для всех, кто пытается разобраться в мире бизнеса или проанализировать ситуацию на международной арене.

Применение такого подхода ко всему человечеству становится все более полезным и важным. Человечество было поделено на разные народы с самой зари цивилизации. Лишь недавно мы нашли друг друга по разные стороны морей и приступили к формированию единой мировой цивилизации. Лишь недавно мы узнали, какой длинный и извилистый путь мы прошли, и выяснили, какой потенциал имеет наше будущее. И лишь недавно мы столкнулись с серьезными угрозами, которые требуют от мира слаженной работы.

Не всегда стоит смотреть на ситуацию с такой точки зрения. Со многими моральными испытаниями мы сталкиваемся на личном уровне или на уровне небольших групп. Даже когда дело доходит до главных вопросов, порой важнее проанализировать различия в рамках человечества: различия в силе, различия в уровне ответственности. Однако, подобно тому как иногда полезно взглянуть на ситуацию с позиции всей планеты, иногда важно сделать еще один шаг назад и занять позицию человечества.

Концепция цивилизационных добродетелей – лишь один пример того, как рассматривать ситуацию с такой точки зрения. В седьмой главе мы сделаем это снова, чтобы проанализировать великую стратегию человечества. И даже обязательства нашего поколения и обязанности каждого из нас предстанут в новом свете, когда мы увидим общую картину жизни человечества на протяжении целых эпох.

Неопределенность

Итак, мы можем анализировать важность экзистенциального риска с позиции нашего настоящего, нашего будущего, нашего прошлого, нашего характера и нашей космической значимости. Самыми обоснованными мне кажутся соображения, основанные на ценности нашего настоящего и будущего, но существование других ракурсов показывает, насколько весомы поводы для беспокойства: они опираются не на какое-нибудь одно этическое учение, а естественным образом затрагиваются в самых разных. Хотя природа и степень озабоченности могут различаться, вместе они формируют мощную опору идеи о том, что недопущение экзистенциальной катастрофы есть важнейшая нравственная задача человечества.

Уверен, многие читатели уже в этом убедились, но у некоторых еще остаются сомнения. Я могу их понять, потому что полной определенности не чувствую даже я. В этой неопределенности два аспекта. Первый – будничный; это неопределенность насчет будущего. Вдруг мы зря полагаем, что у человечества огромный потенциал? Второй аспект – моральный; это неопределенность характера наших этических обязательств[123]. Вдруг я заблуждаюсь насчет серьезности наших обязательств перед будущими поколениями?

Впрочем, чтобы сделать экзистенциальный риск глобальным приоритетом, определенности и не требуется, поскольку ставки неравны. Если мы станем вкладываться в защиту человечества, на самом деле не имея такой обязанности, то ошибемся и потратим ресурсы, которые могли бы пустить на другие благородные дела. Но если мы махнем рукой на будущее, имея обязанность его защитить, то совершим гораздо более серьезную ошибку, не справившись, пожалуй, с самой важной своей задачей. Если доводы в пользу защиты будущего кажутся нам вполне убедительными, крайне безрассудно ими пренебрегать[124].

Даже если рассуждать о будущем в пессимистическом ключе и иметь отрицательные ожидания, полагая, что наши будущие взлеты более чем уравновешиваются возможными падениями, все равно найдется веское основание оберегать наш потенциал[125]. Начнем с того, что некоторые экзистенциальные катастрофы (например, вечный мировой тоталитаризм) при любом раскладе останутся неоспоримо ужасными, а потому заслуживающими нашего внимания. Но есть и более глубокая причина. При такой логике невероятную ценность приобретает получение информации о том, каким окажется наше будущее – благополучным или провальным. А поэтому лучше на всякий случай оберегать человечество, пока у нас не появится гораздо больше данных для ответа на этот важнейший вопрос[126].

Наши потомки будут лучше осведомлены не только о ценности будущего. Сегодня у нас по-прежнему не так уж много опыта. Мы еще не набили руку в решении таких сложных задач, как управление глобальной цивилизацией и всей планетой. Наша картина будущего затуманена нашим невежеством и искажена предвзятостью. Но если все пойдет хорошо, наши потомки будут гораздо мудрее нас. У них будет время гораздо лучше разобраться в положении человечества; они будут набираться сил и знаний у более справедливой, умелой и зрелой цивилизации; принимая решения, они, как правило, будут лучше понимать, что стоит на кону. В связи с этим сегодня – возможно, на самых ранних этапах истории – нам лучше не забывать о скромности, не торопиться с выбором и делать все возможное, чтобы наши потомки получили шанс, прозрев, принимать более взвешенные решения, чем мы сейчас[127].

Как мы пренебрегаем экзистенциальными рисками

Мир только начинает осознавать важность экзистенциального риска. Мы уже приступили к оценке самых значимых угроз и ищем способы их избежать, но добиться того, чтобы масштаб нашей деятельности соответствовал масштабу проблем, нам только предстоит. В контексте общего распределения глобальных ресурсов экзистенциальным риском прискорбно пренебрегают.

Рассмотрим возможность искусственной пандемии, входящую, как мы скоро увидим, в число самых серьезных рисков, с которыми сталкивается человечество. Годовой бюджет международного органа, ответственного за запрет биологического оружия (Конвенции о биологическом оружии), составляет всего 1,4 млн долларов, а это меньше бюджета среднего “Макдональдса”[128]. Все расходы на снижение экзистенциальных рисков, связанных с продвинутым искусственным интеллектом, ограничиваются десятками миллионов долларов, в то время как на развитие искусственного интеллекта выделяются миллиарды долларов[129]. Сложно точно измерить мировые расходы на снижение экзистенциального риска, но можно с уверенностью сказать, что человечество из года в год больше тратит на мороженое, чем на обеспечение того, чтобы разрабатываемые нами технологии нас не уничтожили[130].

В научных исследованиях ситуация примерно такая же. Подробно изучается риск небольших катастроф, но катастрофы, способные уничтожить долгосрочный потенциал человечества, остаются без внимания. В период с 1991 года было опубликовано лишь две климатические модели, показывающие эффекты полноценной ядерной войны между США и Россией, несмотря на то, что в считаные минуты может быть осуществлен пуск целых сотен ракет[131]. Проводится огромная работа по исследованию изменения климата, но худшие сценарии – например, предполагающие потепление более чем на шесть градусов – изучаются сравнительно мало и обычно остаются без внимания в официальных докладах и при обсуждении стратегических планов[132].

Почему же стратегические риски не получают должного внимания, хотя они реальны и настолько значимы? Почему ими систематически пренебрегают? Ответы можно найти в экономике, политике, психологии и истории экзистенциального риска.

Экономическая теория говорит нам, что рынки, страны и целые поколения будут недооценивать экзистенциальный риск. Хотя рынки прекрасно справляются с тем, чтобы поставлять самые разные виды товаров и услуг, некоторые виды систематически поставляются в недостаточном количестве. Рассмотрим чистый воздух. Когда качество воздуха повышается, выгоду получает не конкретный индивид, а все члены общества. Когда я получаю выгоду от более чистого воздуха, это не уменьшает выгоду, которую приобретаете в такой ситуации вы. Вещи, обладающие двумя такими характеристиками, называются общественными благами, и рынки плохо справляются с их поставкой[133]. Как правило, мы решаем эту проблему на местном или национальном уровне, вверяя правительству задачу финансировать или регулировать обеспечение общественных благ.

Защита от экзистенциального риска – это общественное благо: защита пойдет на пользу всем нам, а моя защита не идет во вред вашей. Таким образом, мы ожидаем, что рынок будет пренебрегать экзистенциальным риском. Хуже того, защита от экзистенциального риска – это глобальное общественное благо, и выгодоприобретатели разбросаны по всему миру. Это значит, что пренебрегать им будут даже государства.

Я пишу эту книгу в Великобритании. Эта страна с населением около 70 млн человек – одна из самых населенных в мире, но число ее жителей составляет менее 1 % текущего населения Земли. Решив в одиночку работать с экзистенциальным риском, Великобритания взвалит на себя все расходы на соответствующие меры, но получит лишь одну сотую долю выгод. Иными словами, даже если бы британское правительство было прекрасно информировано и действовало в интересах граждан, оно в 100 раз обесценивало бы работу по снижению экзистенциального риска. Подобным образом Россия обесценивала бы ее в 50 раз, США – в 20 раз, и даже Китай не смог бы не обесценить ее в 5 раз. Поскольку столь большая доля выгод перетекает другим странам, каждой из них хочется выехать на плечах остальных и часть работы, которая пошла бы на пользу всем нам, не делается вовсе.

Тот же эффект, который приводит к этому недостатку защиты, приводит к переизбытку риска. Поскольку лишь 1 % ущерба от экзистенциальной катастрофы приходится на граждан Великобритании, британское правительство заинтересовано в том, чтобы недооценивать минусы рискованных мер, снижая их в те же самые 100 раз. (Ситуация становится еще хуже, если у индивидов или небольших групп появляется возможность представлять экзистенциальные риски.)

Это значит, что управлять экзистенциальным риском лучше всего на глобальном уровне. Но в отсутствие эффективных институтов это чрезвычайно сложно, в связи с чем скорость реакции мира снижается, а опасность того, что выжидающие страны поставят под угрозу срыва весь процесс, повышается.

Даже если бы мы смогли преодолеть эти различия, заключить работающие договоры и согласовать меры для снижения экзистенциального риска, мы столкнулись бы с последней проблемой. Выгодоприобретатели рассеяны не только по миру, но и по поколениям; к ним относятся все люди, которые когда-либо будут жить на земле. Защита от экзистенциального риска – это межпоколенческое глобальное общественное благо. Таким образом, даже при слаженной работе всего мирового населения экзистенциальные риски будут обесцениваться во много раз, оставаясь, по сути, обделенными вниманием[134].

Дополнительные причины можно найти в политологии. Внимание политиков и чиновников нередко сосредоточено на краткосрочной перспективе[135]. Время на размышления и действия в их случае все чаще определяется выборными циклами и циклами производства новостей. Им очень сложно обращать внимание на проблемы, предотвращать которые нужно сейчас, хотя они не возникнут в течение еще нескольких выборных циклов. Они вряд ли будут наказаны, если пустят ситуацию на самотек, тем более что их внимания требуют более срочные вопросы.

Бывают и исключения – например, ситуации, когда к немедленным действиям призывает активная группа избирателей, ведь в таком случае их расположение сразу приносит политику выгоду. Такие группы особенно сильны, когда определенная мера идет на пользу небольшой части общества, и потому им есть смысл предпринимать политические шаги. Но защита от экзистенциального риска выгодна всем гражданам, в связи с чем ни одна опорная группа избирателей не берет на себя ответственность за проблему. Отсюда и пренебрежение, хотя и преодолимое. Когда граждане внимательно относятся друг к другу и действуют из бескорыстных побуждений, когда они проявляют чуткость к бедам других, как мы видели в ситуациях с защитой окружающей среды, охраной прав животных и отменой рабства, в них находятся и страсть, и решимость, необходимые, чтобы призвать лидеров к ответу.

Еще одна политическая причина связана исключительно с серьезностью проблемы. Когда я касаюсь темы экзистенциального риска в беседах с высокопоставленными политиками и чиновниками, они реагируют однотипно: выражают искреннюю глубокую озабоченность вкупе с ощущением, что работа с величайшими рисками, с которыми сталкивается человечество, им “не по плечу”. Мы ожидаем, что наши правительства будут заниматься вопросами, выходящими за рамки компетенций каждого из нас, но решение проблемы экзистенциального риска выходит и за рамки компетенций целых стран. По политическим (и экономическим) причинам это представляется вопросом, требующим масштабных международных действий. Однако, поскольку международные организации очень слабы, проблема экзистенциального риска повисает в воздухе.

Поведенческая психология выделяет еще две причины, по которым мы пренебрегаем экзистенциальным риском, и корнями они уходят в эвристические правила и предубеждения, благодаря которым нам становится проще принимать решения в сложном мире[136]. Первая из них – эвристика доступности. Это склонность людей оценивать вероятность событий в зависимости от того, могут ли они припомнить аналогичные примеры. Никому не хочется допустить повторения недавних трагедий (особенно если они произвели большое впечатление или широко освещались в прессе). Но это значит, что часто мы недооцениваем вероятность событий, которые случаются достаточно редко и потому не случались на нашей памяти или которые не случались никогда прежде. Даже когда эксперты утверждают, что существует значительная вероятность беспрецедентного события, нам очень сложно поверить им, пока мы сами не станем ему свидетелями.

Для многих рисков эвристика доступности становится удобным руководством, которое позволяет нам путем проб и ошибок вырабатывать методы управления риском. Но в случае с экзистенциальными рисками она оказывается совершенно бесполезна. Дело в том, что сама природа экзистенциальной катастрофы не позволяет нам столкнуться с ней, пока не станет слишком поздно. Придерживаясь принципа “лучше один раз увидеть, чем сто раз услышать”, мы слепо шагнем в пропасть.

Нужда в наглядных примерах руководит и нашими альтруистическими побуждениями. Как общество, мы умеем остро сопереживать попавшим в беду – жертвам катастрофы, которых мы видим в новостях. Не всегда мы переходим к действию, но сочувствуем людям непременно. Мы сидим с комом в горле, переживаем за пострадавших и оплакиваем их потери. Но нам необходимо более экспансивное сострадание, более осмысленное сострадание, которое будет преодолевать время и распознавать человечность людей даже в далеком будущем, а не только в далеких местах.

Мы также страдаем от искажения, называемого пренебрежением масштабом. Это нечувствительность к масштабу выгоды и ущерба. Нам сложно в десять раз сильнее заботиться о вещи, которая в десять раз важнее. Когда ставки доходят до определенного уровня, степень нашей заботы достигает максимума[137]. Так, обычно мы считаем ядерную войну ужасной катастрофой, поэтому не отличаем ядерные войны между государствами, располагающими небольшим количеством ядерного оружия (то есть войнами, в которых погибнут миллионы), от ядерного конфликта с применением тысяч ядерных боеголовок (то есть противостояния, в котором будет в тысячу раз больше жертв и, возможно, будет уничтожено все наше будущее). Моральная значимость экзистенциального риска определяется главным образом размером ставок, и потому, пренебрегая масштабом, мы существенно недооцениваем его важность.

По вышеперечисленным причинам экзистенциальным риском пренебрегают, и, возможно, в связи с этим он никогда не получит должного внимания. И все же я не теряю надежды. Поскольку есть и последняя причина: экзистенциальный риск совсем нов. Еще не было времени вписать его в свои гражданские и нравственные традиции. Но есть основания полагать, что ситуация может измениться.

Люди, скорее всего, с самых ранних времен раздумывают о гибели человечества. Когда изолированная группа или племенная община вымирала, столкнувшись с чрезвычайно серьезными трудностями, последние выжившие порой гадали, не последние ли они из рода и живут ли еще где-то похожие на них люди. Однако до недавних пор почти не было серьезных рассуждений о возможности вымирания всего человечества[138].

Лишь в середине XX века, когда появилось ядерное оружие, вымирание человечества превратилось из маловероятной возможности (или отдаленной во времени неизбежности) в непосредственную опасность. Всего через три дня после разрушения Хиросимы Бертран Рассел приступил к своему первому эссе о влиянии бомбардировки на будущее человечества[139]. Чуть позже многие ученые, принявшие участие в создании ядерного оружия, основали “Бюллетень ученых-атомщиков”, чтобы возглавить дискуссию о том, как избежать уничтожения жизни на Земле[140]. Вскоре Альберт Эйнштейн взял на себя роль лидера в этом обсуждении, и его последним публичным шагом стало подписание составленного вместе с Расселом манифеста, в котором они выступили против ядерной войны, подчеркнув, что такой конфликт может привести к гибели человечества[141]. Государственные деятели времен холодной войны, включая Эйзенхауэра, Кеннеди и Брежнева, осознавали угрозу вымирания и то, что с ней сопряжено[142].

108Мы действительно окажемся почти в таком же состоянии, как наши древнейшие человеческие предки (и нас будет гораздо меньше).
109Burke (1790), para. 165; перевод Е. Гельфанд. В своей знаковой книге о правах будущих людей Annette Baier (1981) выражает похожую мысль: “Ключевая роль, отведенная нам как существам моральным, – это роль членов межпоколенческого сообщества, сообщества существ, которые смотрят назад и вперед, трактуют прошлое в свете настоящего, считают будущее продолжением прошлого, чувствуют свою принадлежность к непреходящим семьям, народам, культурам, традициям”. Об этом говорит и Джон Ролз в “Теории справедливости” (1971, § 79): “Реализация возможностей человеческих индивидов, живущих в любое данное время, требует кооперации многих поколений (или даже обществ) на протяжении долгого периода времени” (перевод В. В. Целищева).
110Seneca (1972), pp. 279–291; перевод Т. Бородай. Шестнадцать веков спустя, в 1704 году, Исаак Ньютон сделал подобное замечание (Newton & McGuire, 1970): “Объяснить всю природу – слишком сложная задача для любого человека или даже для одного века. Гораздо лучше сделать немного, но достоверно, а остальное оставить тем, кто придет за вами” (перевод С. И. Вавилова). В 1755 году Дени Дидро выразил связанные идеи в своей “Энциклопедии” (Diderot, 1755, pp. 635–648A): “…задача энциклопедии состоит в том, чтобы собирать знания, рассеянные по миру; излагать их общую систему для людей, с которыми мы живем, и передавать их тем, кто придет после нас, чтобы работа прошедших веков не лишилась смысла в грядущие столетия; и чтобы наши потомки, став более учеными, стали бы также более добродетельными и счастливыми, а мы не прожили бы жизнь, не оказав услугу всему роду человеческому”.
111Пожалуй, еще поразительнее, что некоторые тайны комет, глубина которых вдохновила Сенеку написать этот фрагмент, были открыты лишь недавно и непосредственным образом повлияли на наши представления об экзистенциальном риске: “Когда нибудь явится человек, который точно опишет, где пролегают пути комет, почему они блуждают в стороне от прочих звезд” (Seneca, 1972, p. 281; перевод Т. Бородай). Природа их в высшей степени причудливых орбит и их размер стали ключевыми аспектами нашего текущего представления о рисках, которые кометы представляют для цивилизации и человечества. Дальнейший анализ обеих этих характеристик существенно поможет снизить риски, связанные со столкновениями с объектами из космоса. См. главу 3.
112См. работу Scheffler (2018), где подробнее разбирается вопрос о принципе взаимности, лежащем в основе некоторых причин заботиться о будущих поколениях, и приводятся другие соображения, не упоминаемые на этих страницах.
113Sagan (1983, p. 275) написал так: “Существует множество других критериев для оценки потенциальных потерь, включая культуру и науку, эволюционную историю планеты и смысл жизни всех наших предков, которые сделали свой вклад в будущее своих потомков. Вымирание – это крах главного проекта человечества”.
114Cм., например, работы Cohen (2011), Scheffler (2009), Frick (2017).
115Ник Бустрём (2013) развил эту мысль: “Вероятно, мы обязаны также, подобно архивистам, хранить наследие человечества, переданное нам предками, и невредимым передавать его потомкам. Мы не хотим оказаться слабым звеном в цепи поколений и не должны ни стирать, ни забывать великую историю человеческой цивилизации, над которой человечество трудилось на протяжении тысяч лет, ведь совершенно ясно, что рассказ еще не доведен до логического конца”.
116Это цивилизационное терпение прекрасно описал Стюарт Брэнд (2000): “Экологические проблемы считались неразрешимыми, поскольку их невозможно решить за год-другой… Оказывается, экологические проблемы разрешимы. Нужно просто упорно работать на протяжении десятка или трех десятков лет, чтобы приблизиться к их разрешению, а разрешение это порой наступает лишь спустя столетия. Энвайрон-ментализм учит нас терпению. Полагаю, терпение – важнейший навык здоровой цивилизации”.
117Хотя это и уводит нас в сторону, можно также рассмотреть цивилизационные добродетели, связанные с нашими отношениями с окружающим миром. Так, ненадлежащее обращение с другими животными и средой, где мы живем, говорит, что мы недостаточно участливы и заботливы. Также можно отметить, что защита будущего может мотивироваться такими направленными на индивидов добродетелями, как благодарность (прошлым поколениям), сочувствие и лояльность (по отношению к будущим поколениям) и единство и солидарность с остальным человечеством. Джонатан Шелл (1982, pp. 174–175) рассматривает любовь как обобщение родительской, или репродуктивной, любви, то есть любви, с которой мы приводим в этот мир новых людей.
118Мне повезло работать над этим вопросом со своими коллегами из Института будущего человечества – Андерсом Сандбергом и Эриком Дрекслером. В своей статье ‘Dissolving the Fermi Paradox’ (Sandberg, Drexler & Ord, 2018) мы провели количественную оценку текущих научных представлений и сомнений по вопросу о происхождении жизни и разума. Мы продемонстрировали, что существование миллиардов звезд не доказывает, что где то должен быть внеземной разум. Вполне возможно (и даже, пожалуй, вероятно), что шанс зарождения жизни на любой из этих звезд сообразно мал. Опираясь на наши научные знания, можно с равной вероятностью предположить как то, что мы одни во Вселенной, так и то, что Вселенная кишит жизнью. С учетом этого отсутствие признаков разумной внеземной жизни ничуть не удивительно и не парадоксально: чтобы объяснить его, не нужно строить сложные теории – имеющиеся данные просто говорят, что с большей вероятностью мы такие одни. Мы предполагаем, что в прошлом ученых вводило в заблуждение использование “точечных оценок” для всех величин в уравнении Дрейка. [“Уравнение” Дрейка (F. Drake, 1961) – формула оценки количества внеземных цивилизаций, включающая такие чисто спекулятивные параметры, как “доля планет, подходящих для возникновения жизни, действительно порождающая мыслящих существ”, и потому не имеющая никакого научного значения. – Прим. науч. ред.] Если заменить их статистическими распределениями возможных значений, мы увидим, что даже при высоком среднем или медианном числе внеземных цивилизаций высок шанс, что их просто не существует. Мы корректируем оценку в сторону такой возможности, если не видим никаких признаков их активности.
119Можно рассматривать эту космическую значимость как способ пролить свет на моральную ценность, которой человечество обладает по другим причинам, или как дополнительный источник ценности, или как нечто важное и бесценное. Далее я приведу мнения ведущих поборников идеи о нашей космической значимости. Мартин Рис (2003, p. 157): “Препятствий на пути зарождения (и сохранения) сложной жизни может быть столько, что Земля окажется единственным оплотом сознательного разума во всей нашей галактике. В таком случае наша судьба имеет поистине космическое значение”. Макс Тегмарк (2014, p. 397): “Именно безбрежность космоса в первую очередь заставила меня ощутить свою ничтожность. И все же мы – и только мы – видим эти величественные галактики и считаем их прекрасными. Одни мы придаем им значение и делаем свою маленькую планету самым важным местом во всей наблюдаемой Вселенной”. Карл Саган (1980, p. 370; перевод А. Сергеева): “Космос может быть плотно населен разумными существами. Но преподанный Дарвином урок очевиден: в других местах не будет человека. Только здесь. Только на этой маленькой планете. Мы столь же редки, как вид, находящийся под угрозой исчезновения. Каждый из нас драгоценен в масштабах Космоса”. Дерек Парфит (2017b, p. 437): “Если мы единственные рациональные существа во Вселенной, о чем говорят нам новейшие данные, то вопрос о том, появятся ли у нас потомки или преемники за миллиарды лет, в которые это вообще возможно, приобретает еще большее значение. Некоторые из наших потомков могут прожить жизни и создать миры, которые, хотя и не смогут оправдать прошлые страдания, все же дадут нам всем, включая тех, кто страдал сильнее остальных, причины радоваться тому, что Вселенная существует”. Джеймс Лавлок (2019, p. 130): “Всего 300 тысяч лет назад, когда появился человек, эта планета, единственная во всем космосе, приобрела способность познавать себя… Теперь мы готовимся передать дар знания новым формам разумных существ. Не печальтесь из за этого. Мы сыграли свою роль… быть может, у нас есть надежда, что наш вклад не будет полностью забыт, когда мудрость и понимание выйдут за пределы земли и соединятся с космосом”. Мы рассматриваем космическую значимость человечества с точки зрения консеквенциализма, обращая внимание, что чем более редок разум, чем большая часть Вселенной останется безжизненной, если мы не выживем и ничего не предпримем, – тем больше вклад, который мы можем внести.
120В конце концов, мы можем обрести значимость даже с точки зрения масштаба. Космологи полагают, что размер крупнейших когерентных структур во Вселенной достигает миллиардов световых лет в поперечнике – такова ширина крупнейших войдов в космической сети. Поскольку Вселенная расширяется все быстрее, разрывая свою ткань, а рассчитывать можно только на гравитацию, безжизненная материя не в состоянии сформировать более крупные структуры. Однако нам неизвестно о существовании какого либо физического ограничения, которое не позволяло бы человечеству создавать когерентные структуры или паттерны гораздо больших масштабов – с диаметром примерно до 30 млрд световых лет. Таким образом, мы можем формировать крупнейшие структуры во Вселенной, что делает нас уникальными даже по этому параметру. Управляя галактиками в этой области, собирая и сохраняя их энергию, мы также можем стать творцами самых энергоемких событий или самых долговечных сложных структур во Вселенной.
121Как объяснялось ранее в этой главе, дело не в том, что значение имеют только люди, а в том, что только люди являются моральными агентами.
122Я полагаю, что весьма полезно рассматривать ситуацию в таком ракурсе, ведь это дает возможность узнать даже больше, чем я способен проанализировать в своей книге. Надеюсь, другие подхватят мою инициативу и пойдут гораздо дальше, чем получилось у меня.
123До недавних пор теория о том, как принимать решения в случае, если мы сомневаемся в моральной ценности результата, почти не рассматривалась в философии морали несмотря на то, что именно отсутствие определенности в вопросах морали подталкивает людей обращаться за советами в этой сфере и вообще изучать философию морали. В своей работе я стараюсь исправить ситуацию (Greaves & Ord, 2017; MacAskill & Ord, 2018; MacAskill, Bykvist & Ord, готовится к публикации).
124Ник Бустрём (2013, p. 24) особенно удачно сформулировал эту мысль: “Вполне возможно, что наши современные представления об аксиологии ошибочны. Сегодня мы можем не знать – по крайней мере, не знать в деталях, – какие итоги будут считаться большой победой для человечества; быть может, мы еще не умеем даже вообразить лучшие варианты окончания нашего пути. Если мы действительно понятия не имеем, каковы наши итоговые цели, то нам следует признать, что есть большая потенциальная выгода в сохранении – а лучше в повышении – нашей способности распознавать преимущества и направлять будущее в нужное русло. Обеспечить существование новой версии человечества, обладающей большой силой и способной рационально использовать ее, – это достоверно лучший из доступных нам способов повысить ценность будущего. Для этого мы должны не допустить никакой экзистенциальной катастрофы”. Думаю, условие достоверности здесь очень важно. Я не говорю, что этот аргумент, основанный на неопределенности, работает даже в том случае, если вы в высшей степени уверены, что мы не обязаны оберегать свое будущее. Базой для такого аргумента, вероятно, может послужить и ожидаемая выгода, но я остерегаюсь аргументов, связанных с ожидаемой выгодой, когда вероятности чрезвычайно малы и плохо изучены (см. Bostrom, 2009).
125Даже если придерживаться мрачной точки зрения, полагая, что значимы лишь неблагоприятные исходы, все равно продолжить путь, поскольку человечество, возможно, способно предотвратить неблагоприятные исходы в других точках Земли, а также в других областях космоса, где зародилась жизнь.
126Иными словами, защита нашего будущего имеет огромную ценность отложенной альтернативы. Двигаясь по этому пути, мы сохраняем способность в будущем выбрать то, что окажется лучшим вариантом, когда у нас появится больше данных. Неимоверную ценность обретают и сами эти данные, будь то эмпирическая информация о наших перспективах или сведения о том, какие из гипотетических моральных соображений выдержали проверку временем. Разумеется, ценность отложенной альтернативы ограничивается той степенью, в которой будущее, по нашим прикидкам, окажется восприимчиво к новой информации о том, что лучше с точки зрения морали. Подробнее о моральной ценности отложенной альтернативы и ценности информации морального характера с точки зрения всего человечества пишут Bostrom (2013, p. 24), MacAskill (2014), а также Williams (2015), который обобщает эту мысль: “…нам следует считать интеллектуальный прогресс того типа, который позволит нам как можно скорее находить и исправлять свои ошибки морального характера, первоочередным моральным приоритетом, а не просто роскошью; и нам также следует признать важность экономии ресурсов и повышения гибкости, чтобы тогда, когда настанет время изменить свои принципы, мы смогли бы сделать это быстро и безболезненно”.
127Эти мысли прекрасно излагает Sagan (1994).
128Бюджет на 2019 год составил 1,4 млн долларов (BWC ISU, 2019). В период с 2016 по 2018 год расходы на содержание ресторанов, управляемых компанией McDonald’s, составляли в среднем 2,8 млн долларов на ресторан ежегодно (McDonald’s Corporation, 2018, pp. 14, 20). Компания не сообщает о расходах на содержание ресторанов, открытых по франшизе.
129По оценке Farquhar (2017), общемировые расходы на снижение экзистенциального риска от ИИ в 2017 году составили 9 млн долларов. После этого они значительно возросли, возможно в 2–3 раза. Я уверен, что расходы в 2020 году составили от 10 до 50 млн долларов. По оценке IDC (2019), общемировые расходы на ИИ в 2019 году достигнут 36 млрд долларов и значительная их часть пойдет на расширение способностей ИИ. [По информации русскоязычного издания “Коммуникации в ИТ-бизнесе”, общемировые расходы на мировом рынке технологий искусственного интеллекта (ИИ) в 2021 году составили 383 млрд долларов, а в 2022 году превысят 450 млрд долларов (см. https://www.dailycomm.ru/m/54690/, дата посещения 3 ноября 2022 г.). – Прим. науч. ред.]
130В 2018 году объем мирового рынка мороженого оценивался в 60 млрд долларов (IMARC Group, 2019), или ~0,07 % валового мирового продукта (World Bank, 2019a). Точно определить, сколько мы тратим на охрану своего будущего, нелегко. Я склоняюсь к простейшей формуле и учитываю лишь расходы, направленные на снижение экзистенциального риска. В этих рамках я оцениваю общемировые расходы примерно в 100 млн долларов. Борьба с изменением климата показывает, насколько сложно определить, какие именно расходы нас интересуют. По одной из оценок, общемировые расходы на борьбу с изменением климата составляют около 400 млрд долларов (~0,5 % валового мирового продукта) (Buchner et al., 2017). Скорее всего, это завышенная оценка экономических издержек, поскольку большая часть средств идет на производство возобновляемой энергии, хотя в ином случае значительная доля этого шла бы на строительство невозобновляемых мощностей. Кроме того, как мы увидим в главе 4, экзистенциальный риск, связанный с изменением климата, главным образом проистекает из самых радикальных сценариев потепления. Следовательно, неясно, сколько в среднем долларов, расходуемых на борьбу с изменением климата, идет на снижение экзистенциального риска. Подобные трудности возникают и при оценке риска искусственной пандемии: США направляют на обеспечение биологической безопасности 1,6 млрд долларов из федерального бюджета, но лишь малая часть этой суммы в итоге пойдет на защиту от худших пандемий (Watson et al., 2018). Не считая борьбы с изменением климата, совокупные расходы на обеспечение биологической безопасности и снижение природных рисков, а также рисков, связанных с ИИ и ядерной войной, все равно оказываются ниже наших расходов на мороженое. А непосредственно на снижение экзистенциального риска, я уверен, не тратится и десятой части этой суммы.
131Robock, Oman & Stenchikov (2007) и Coupe et al. (2019).
132King et al. (2015). Как мы увидим в главе 4, на основе имеющихся у нас сегодня научных знаний можно сделать вывод, что потепление на 6 °C вполне возможно.
133Эти характеристики называются неисключительностью (поставщик не может сделать так, чтобы выгоду получали только оплатившие товар потребители) и неконкурентностью (потребление блага одним индивидом не ограничивает возможность его потребления для остальных). Как видно, большая часть товаров и услуг, предлагаемых рынком, обладают исключительностью и конкурентностью.
134Cм. Bostrom (2013, p. 26). Оттолкнувшись от понятия трагедии общин, экономист Джонатан Уинер (2016) назвал такую ситуацию “трагедией редкостей”.
135В долгосрочной перспективе рассматриваются лишь некоторые вопросы, например энергетическая политика, пенсионное обеспечение и реализация крупных инфраструктурных проектов. Как правило, они планируются на десять-двадцать лет вперед, но и это довольно краткий срок по меркам нашей книги.
136Подробнее об эвристике и предубеждениях пишет Kahneman (2011). Глубокий анализ этих и других предубеждений, влияющих на общественную оценку редких катастрофических рисков, проводит Wiener (2016).
137Мы действительно порой страдаем от одной из разновидностей этого эффекта, называемой потрясением массовостью, когда не можем осознать ущерб, причиняемый тысячам людей (и более), и считаем его даже менее значимым, чем такой же ущерб, причиняемый единственному идентифицируемому человеку. См. Slovic (2007).
138Здесь я не учитываю религиозные дискуссии о конце света, которые, на мой взгляд, сильно отличаются от обсуждения натуралистических причин гибели человечества.
139Russell (1945). В середине своего эссе Рассел отмечает, что только что узнал о бомбардировке Нагасаки – скорее всего, это было утром 9 августа 1945 года: “Пока я писал эти строки, выяснилось, что вторую бомбу сбросили на Нагасаки. Будущее человеческого рода как никогда безрадостно. У человечества два ясно очерченных пути: либо мы все погибнем, либо нам придется обзавестись хотя бы зачатками здравого смысла. Если мы хотим предотвратить полную катастрофу, нужно перестроить наше политическое мышление”.
140“Бюллетень” существует по сей день и давно делает основной акцент на дискуссиях о риске вымирания. В последние годы его редакторы расширили фокус и теперь рассматривают не только ядерный риск, но и целый диапазон угроз будущему человечества, включая изменение климата, биологическое оружие и неконтролируемый искусственный интеллект.
141В манифесте Рассела – Эйнштейна, составленном в 1955 году, говорится (Russell, 2002): “Поэтому вот вопрос, который мы ставим перед вами, – вопрос суровый, ужасный и неизбежный: должны мы уничтожить человеческий род или человечество откажется от войн? […] перед вами опасность всеобщей гибели”. Эйнштейн подписал его незадолго до своей смерти в 1955 году, и Рассел рассказывает об этом (2009, p. 547): “Разумеется, я отправил манифест Эйнштейну на одобрение, но еще не знал, какое впечатление он произвел на него и согласится ли он его подписать. Пока мы летели из Рима в Париж, где должны были состояться дальнейшие заседания Ассоциации мирового правительства, пилот сообщил о смерти Эйнштейна. Я был опустошен – и не только по очевидным причинам, но и потому, что собственный план казался мне провальным без его поддержки. Однако, добравшись до своей парижской гостиницы, я обнаружил там письмо от него, в котором он согласился подписать манифест. Таким стал один из последних поступков в его общественной жизни”.
142В личном письме Эйзенхауэр (1956) рассматривал эту угрозу и ее последствия для высшей стратегии: “Рано или поздно мы достигнем момента, когда обе стороны поймут, что любое обострение противоречий вне зависимости от фактора внезапности приведет к взаимному и полному уничтожению, и тогда, возможно, нам хватит ума встретиться за столом переговоров и осознать, что эпоха вооружения подошла к концу, а человечеству остается либо действовать дальше в соответствии с этой истиной, либо умереть”. Выступая в ООН, Кеннеди (1961) сказал: “Ядерная катастрофа, распространяемая ветрами, и водами, и страхом, вполне способна без разбору поглотить великих и малых, богатых и бедных, ответственных и безответственных. Человечество должно положить конец войне – иначе война положит конец человечеству… Сегодня каждый житель этой планеты должен задумываться о дне, когда эта планета может стать непригодной для жизни. Каждый мужчина, каждая женщина и каждый ребенок живут под дамокловым мечом, и меч этот удерживают тончайшие нити, которые могут в любой момент порваться из за случайности, ошибки или безумия. Нам нужно поставить крест на орудиях войны, пока они не поставили крест на нас”. Брежнев же предположил, что “человечество будет полностью уничтожено” (Arnett, 1979, p. 131).
Купите 3 книги одновременно и выберите четвёртую в подарок!

Чтобы воспользоваться акцией, добавьте нужные книги в корзину. Сделать это можно на странице каждой книги, либо в общем списке:

  1. Нажмите на многоточие
    рядом с книгой
  2. Выберите пункт
    «Добавить в корзину»