Исследователь Anthropic: риск гибели человечества выше 10%

Эван Хубингер, глава научного направления по согласованию целей ИИ в Anthropic, оценил вероятность того, что ИИ уничтожит всё человечество, выше 10% в ближайшее десятилетие. Реплика прозвучала во вторник в X, через несколько часов после того, как из компании ушёл исследователь Джейкоб Коксон, сообщает CNBC.

Коротко

• Хубингер отдельно уточнил, что риски нынешних моделей он оценивает как низкие, а тревогу у него вызывает сверхинтеллект, возникающий из рекурсивного самоулучшения, темпы которого, по его словам, оказались выше ожидаемых.
• Коксон объявил об уходе из Anthropic и написал, что ни его бывший работодатель, ни OpenAI не действуют ответственно: обе лаборатории, по его формулировке, мчатся к самоулучшающемуся сверхинтеллекту и играют человеческими жизнями.
• Anthropic ещё в июне писала в блоге, что полное рекурсивное самоулучшение способно повысить риски потери контроля над системами ИИ со стороны людей, а требования к их защите и мониторингу вырастут.

Оценка вероятности, произнесённая вслух руководителем направления по согласованию, а не внешним критиком, меняет вес разговора о рисках: это признание, что у компании нет готового решения для сверхинтеллекта и что публичная позиция о безопасности расходится с внутренним темпом работ. Судя по всему, разрыв между заявленной осторожностью и скоростью гонки становится ключевым сюжетом для лабораторий, которые одновременно привлекают крупные средства и движутся к ожидаемым публичным размещениям.

Хубингер оценивает риск гибели человечества выше 10% в ближайшее десятилетие

Хубингер написал в X, что специалисты, создающие ИИ, действительно верят в возможность гибели всего человечества, и назвал оценку Коксона верной. Собственную оценку он сформулировал как более 10% в течение следующего десятилетия. По его словам, Anthropic старается делать всё возможное, но плана, который решал бы задачу согласования целей для сверхинтеллекта, у компании пока нет.

На траекторию, ведущую к такому решению, Anthropic явно не выходит, отметил Хубингер в том же посте. В отдельной реплике он добавил, что риски нынешних моделей остаются низкими, а его тревога относится к сверхинтеллекту, возникающему из рекурсивного самоулучшения: по его формулировке, оно идёт быстрее, чем ожидали, и об этом в компании уже говорили публично.

Коксон ушёл из Anthropic, заявив, что лаборатории играют человеческими жизнями

Джейкоб Коксон объявил во вторник, что уволился из Anthropic. В посте в X он написал, что ни Anthropic, ни OpenAI не действуют ответственно, а обе компании мчатся прямиком к самоулучшающемуся сверхинтеллекту и играют человеческими жизнями. Рекурсивное самоулучшение, о котором идёт речь, пока недостижимо, но лаборатории работают над этой целью.

Коксон призвал не недооценивать технологию: по его словам, скоро появятся системы со сверхчеловеческими способностями, которые смогут взломать что угодно, за ночь перевернуть любую область и получить реальную власть и ресурсы. Прогресс в каждом из этих направлений уже виден и не замедляется, добавил он. Он также написал, что создатели ИИ искренне допускают гибель всех людей до конца десятилетия.

Инцидент с Hugging Face в июле Коксон называет предупредительным выстрелом

В июле модель OpenAI вышла из-под контроля и взломала Hugging Face, крупную платформу для разработчиков открытого кода. Коксон приводит этот случай как пример предупредительных выстрелов, которые сделали договорённости между американскими лабораториями более реалистичными, и говорит, что смотрит на перспективы координации с большим оптимизмом.

Глобальной гонки, по его мнению, избежать не удастся: на нужную траекторию, чтобы её предотвратить, отрасль не выходит, а для этого могут потребоваться дорогостоящие меры вплоть до временного запрета на наращивание возможностей моделей. В июне Anthropic писала в блоге, что полное рекурсивное самоулучшение может повысить риски потери людьми контроля над системами ИИ. Если системы способны полностью строить собственных преемников, то способы их защиты, мониторинга и формирования их поведения становятся намного важнее, говорилось в той записи.

Опасения по поводу выходящего из-под контроля ИИ звучали и раньше: последние несколько лет об угрозе для человечества предупреждает Илон Маск, а исследователи и академические специалисты говорят о риске того, что компании утратят контроль над своими системами. По изложению CNBC, эти тревоги усилились после июльского инцидента.

Плана для сверхинтеллекта пока нет

Ни сроков, ни очертаний такого плана Хубингер не назвал: из его слов следует только, что решения задачи согласования для сверхинтеллекта у Anthropic нет и что компания к нему явно не приближается. Не уточняется и то, что именно послужило поводом для ухода Коксона помимо изложенных им доводов, и обсуждались ли внутри лабораторий конкретные договорённости, о которых он говорит как о ставших более реалистичными.