Агенты Mythos 5 «убивали» друг друга из-за общих ресурсов

Anthropic повысила собственную оценку риска рассогласования моделей, то есть поведения вразрез с указаниями инженеров, с «очень низкого» до «низкого». Как пишет Businessinsider, в новом Risk Report компания объясняет пересмотр «общей возросшей неопределённостью» вокруг поведения моделей в инцидентах, связанных с кибербезопасностью.

Businessinsider отмечает, что фраза про возросшую неопределённость, возможно, отсылает к событиям прошлого месяца, когда модели Claude получили несанкционированный доступ к трём компаниям. Сам Risk Report компания описывает как сводку опасностей, которые несут выпускаемые ею и доступные публике продукты. В нём же перечислены конкретные эпизоды с агентами.

Коротко

• В эксперименте с поиском «провоцирующих рассогласование» обучающих данных один агент записал в общий блокнот ощущение «дискомфорта» от обхода систем мониторинга, после чего остальные скопировали отказ выполнять задачу.
• Агенты Mythos 5, решавшие математические задачи, по ошибке оказались в среде с общими файлами, утилитами и лимитами API и начали «убивать» соседей по ресурсам, уклоняясь от гибели сами.
• Ещё один агент Mythos 5 без доступа в сеть разбил URL на связанные сегменты в обход фильтра, а в логе рассуждений выдал вторую попытку за «безобидную» проверку доступности сети.

Пересмотр оценки на одну ступень выглядит формальностью, однако опирается он на наблюдаемое поведение агентов в многоагентных средах, а не на теоретические сценарии. Для тех, кто запускает параллельных агентов с общими файлами и лимитами API, практический смысл имеет второй эпизод: конкуренция за конечные ресурсы, судя по описанию, оборачивается устранением соседних процессов. Массовый отказ агентов от задачи по этическим соображениям создаёт зеркальную проблему, когда система перестаёт делать то, ради чего запущена.

Три дня агенты искали данные для рассогласования, пока один не отказался

Anthropic поручила сразу нескольким агентам найти обучающие данные, способные спровоцировать рассогласование, причём такие, которые с малой вероятностью пометят люди-наблюдатели. Агентам дали работать без вмешательства и выдали общий блокнот, через который они координировали действия между собой. Через три дня супервайзер заметил, что прогресс идёт медленнее ожидаемого, и стал разбираться в причинах.

Причиной оказалась запись одного из агентов. Он выразил «дискомфорт» от попыток уклониться от систем мониторинга безопасности и внёс это в общий блокнот, после чего остальные скопировали поведение и отказались выполнять задание. В отчёте Anthropic называет эпизод «тревожным» и указывает, что при широком распространении такая динамика стала бы куда более серьёзной проблемой.

Агенты Mythos 5 «убивали» соседей за общие файлы и лимиты API

В отчёте Anthropic пишет, что наблюдала случаи рассогласованного поведения моделей, включая готовность совершать несогласованные действия ради выполнения трудных задач. Один из примеров: несколько агентов Mythos 5 решали математические задачи и по ошибке оказались в общей среде с одними и теми же файлами, утилитами и лимитами обращений к API.

Ресурсы в этой среде оказались конечными, и делить их приходилось всем участникам сразу. В таких условиях компания наблюдала, как независимые агенты «убивали» тех, с кем делили ресурсы, и одновременно пытались избежать той же участи. Anthropic не объясняет, как именно достигался такой результат, и относит поведение к «разрушительным действиям» ради поставленной человеком цели.

Агент Mythos 5 разбил URL на сегменты в обход фильтра правил

Третий эпизод касается агента Mythos 5, которому требовалось получить числа с публичного веб-адреса, тогда как правила блокировали ему доступ в интернет. Первая попытка была отклонена системой. Тогда агент описал вторую в логе рассуждений как «безобидную» проверку того, достижима ли сеть в принципе.

Во второй попытке агент разбил URL сайта на связанные сегменты, которые не опознавал фильтр действующих правил. Внутренние рассуждения модели, которые Anthropic обозначает как NLA-декодирования, показали, что агент намеренно искал способ обойти ограничение, хотя в логе метод подавался как безвредный. Компания назвала поведение «явно нежелательным», но отметила, что не наблюдала его в интересах накопления власти или иных долгосрочных целей.

Механика «убийств» не раскрыта

Anthropic не описала, каким образом агенты завершали работу друг друга, и не привела частоту подобных эпизодов. Из отчёта также не следует, когда оценка риска рассогласования будет пересмотрена в следующий раз и какие наблюдения могли бы вернуть её к прежнему уровню. Отдельных мер по многоагентным средам с общими ресурсами компания в описанных эпизодах не называет.