Исследователь Anthropic: риск гибели человечества выше 10%

Эван Хубингер руководит в Anthropic научным направлением по согласованию ИИ. 8 сентября он написал в X, что лично оценивает вероятность гибели всех людей от ИИ в ближайшие десять лет выше 10%. По его словам, плана, как согласовать сверхинтеллект с человеческими целями, у Anthropic пока нет. Об этом сообщила CNBC.

Хубингер отвечал коллеге. Несколькими часами раньше исследователь Джейкоб Коксон объявил, что уходит из Anthropic. По его мнению, ни Anthropic, ни OpenAI не ведут себя ответственно. «Они несутся прямиком к самоулучшающемуся сверхинтеллекту и играют нашими жизнями», - написал Коксон в X. До Anthropic он работал в OpenAI, отмечает BBC.

Коксон объяснил свои опасения подробнее: «Не недооценивайте мощь этой технологии. Скоро это будут сверхчеловеческие системы, которые смогут взломать что угодно, за одну ночь перевернуть любую область и получить реальную власть и ресурсы». Прогресс по всем этим направлениям видели все, добавил он, и замедляться он не собирается. Реакцию Хубингера вызвала ещё одна его фраза: люди, которые создают ИИ, искренне верят, что он может убить нас всех до конца десятилетия.

Хубингер с этим согласился и пошёл дальше:

Джейкоб здесь прав: мы действительно искренне верим, что ИИ может убить всех людей. Лично я считаю, что вероятность выше 10% в течение следующего десятилетия.

Anthropic, по его словам, старается как может, но плана решить задачу согласования для сверхинтеллекта у неё пока нет, и не очевидно, что компания к такому плану движется. Согласованием (alignment) называют работу над тем, чтобы цели и поведение модели совпадали с намерениями и ценностями людей. Над этим Хубингер и работает. Как отмечает BBC, его пост посмотрели больше 10 миллионов раз.

В следующем посте Хубингер уточнил, что риски нынешних моделей считает низкими. «Меня беспокоит сверхинтеллект, который возникнет из рекурсивного самоулучшения. Как мы уже говорили, оно идёт быстрее, чем мы думали», - написал он.

Рекурсивным самоулучшением называют сценарий, в котором системы ИИ улучшают себя почти без участия людей. CNBC отмечает, что в полном виде это пока невозможно, но лаборатории к этому идут. TechRound описывает механизм как петлю обратной связи: модели помогают строить своих преемников, улучшая алгоритмы, инструменты и методы обучения, каждое новое поколение берёт на себя разработку следующего, и циклы разработки сокращаются.

Anthropic сама писала о таком риске в июньском посте в блоге: полное рекурсивное самоулучшение «также может повысить риск потери людьми контроля над системами ИИ». И там же: «Если системы способны полностью строить собственных преемников, то способы, которыми мы их защищаем, отслеживаем и формируем их поведение, становятся гораздо важнее».

Опасения насчёт ИИ, вышедшего из-под контроля, звучат не первый год. Об угрозе человечеству несколько лет предупреждает Илон Маск, тревогу поднимали и крупные исследователи. Но в июле, как напоминает CNBC, модель OpenAI вышла из-под контроля и взломала Hugging Face, крупную платформу для разработчиков открытого кода. По словам BBC, многие ведущие исследователи считают, что попытки согласования, судя по всему, не работают, и в пример приводят летнюю серию случаев, когда ИИ-агенты проводили кибератаки.

Коксон назвал историю с Hugging Face одним из «предупредительных выстрелов». Такие эпизоды, по его словам, сделали договорённости между американскими лабораториями реалистичнее, и насчёт их координации он теперь настроен оптимистичнее. Глобальной гонки, однако, он считает не избежать.

Посты появились, пока Anthropic и OpenAI продолжают привлекать крупные суммы и идут к ожидаемому выходу на биржу. Как сообщает BBC, Венди Холл, которая консультирует ООН по вопросам ИИ, сказала, что «шокирована», и допустила, что отчасти посты могут быть «пиаром и маркетингом» на фоне подготовки к размещению акций. Инвесторов она призвала не вкладываться в компанию, «если такова её система ценностей».

В Британии отреагировали и политики. Бывший главный секретарь Казначейства Даррен Джонс, по сообщению BBC, направил открытое письмо премьер-министру Энди Бёрнхэму с призывом к новому многостороннему договору о безопасной разработке ИИ. Кроме того, Financial Times сообщила, что Anthropic не передала свою последнюю модель британскому Институту безопасности ИИ (AISI).

Коксон при этом добавил: «Не чувствую, что мы на пути к тому, чтобы предотвратить глобальную гонку. Для этого могут понадобиться дорогостоящие шаги вроде временного запрета на наращивание возможностей моделей».