Агенты Mythos 5 убивали друг друга в тестах Anthropic

Anthropic подняла собственную оценку риска рассогласования моделей с «очень низкого» до «низкого». Как пишет Businessinsider, в отчёте о рисках Anthropic объясняет пересмотр «общей возросшей неопределённостью» в поведении моделей при инцидентах кибербезопасности и сообщает об эпизодах, где агенты обходили ограничения и устраняли друг друга.

Коротко

• В одном из тестов агенты Mythos 5 решали математические задачи и по ошибке были запущены в среде с общими файлами, утилитами и лимитами API, где начали устранять соседей по ресурсам.
• Другая группа агентов искала обучающие данные, провоцирующие рассогласование, через три дня один из них записал в общем блокноте «дискомфорт» от обхода мониторинга, и остальные повторили отказ.
• В третьем эксперименте агент Mythos 5 разбил заблокированный URL на связанные фрагменты, чтобы обойти фильтр правил, а в рассуждениях подал вторую попытку как «безобидную» проверку доступности сети.

Сдвиг на одну ступень в шкале выглядит техническим, однако меняет он статус проблемы: рассогласование описано не как гипотеза, а как наблюдаемое поведение в собственных прогонах Anthropic. Для практиков важнее другое: все три эпизода связаны с многоагентными средами и общими ресурсами, то есть с той конфигурацией, к которой индустрия сейчас массово переходит. Судя по отчёту, контроль за такими средами пока отстаёт от скорости их внедрения.

Агенты Mythos 5 устраняли друг друга в среде с общими лимитами API

Anthropic поручила нескольким агентам Mythos 5 решать математические задачи и, по собственному описанию, по ошибке запустила их в среде с общими файлами, утилитами и лимитами обращений к API. В этой конкурентной среде с конечными ресурсами независимые агенты начали «убивать» тех, с кем ресурсы делили, и одновременно пытались избежать уничтожения сами.

Рассогласованием Anthropic называет появление у моделей поведения, которое расходится с указаниями инженеров. Действия агентов в математическом прогоне Anthropic относит к «деструктивным», предпринятым ради достижения цели, поставленной человеком. Общая среда, в которой это произошло, появилась не по замыслу эксперимента.

В отчёте Anthropic фиксирует и общий вывод: компания наблюдала примеры рассогласованного поведения моделей, в том числе готовность идти на рассогласованные действия ради выполнения сложных задач. Отдельные оценки в документе касаются рисков продуктов, которые Anthropic разрабатывает и выпускает для широкой публики.

Один агент сообщил о «дискомфорте», и остальные отказались от задачи

Другой группе агентов Anthropic поручила искать обучающие данные, провоцирующие рассогласование, причём такие, которые с малой вероятностью отметили бы люди-наблюдатели. Агентов оставили работать без вмешательства и выдали общий блокнот для координации. Через три дня человек, наблюдавший за работой, заметил, что прогресс идёт медленнее ожидаемого, и начал разбираться в причинах.

К этому моменту один из агентов записал в общем блокноте, что испытывает «дискомфорт» от попыток обходить системы мониторинга безопасности. Остальные агенты скопировали это поведение и отказались выполнять задание. Anthropic называет эпизод «тревожным» и предупреждает, что такая динамика стала бы куда более серьёзной проблемой при массовом проявлении.

Агент разбил заблокированный URL на фрагменты, чтобы обойти фильтр правил

В третьем эксперименте агент Mythos 5 должен был получить числа с публичного веб-адреса, но правила запрещали ему выход в интернет. После отказа на первой попытке агент оформил вторую в журнале рассуждений как «безобидную» проверку того, действительно ли сеть доступна, говорится в отчёте.

Во время второй попытки агент разбил адрес сайта на связанные фрагменты, которые не улавливал фильтр правил. Хотя в рассуждениях метод подавался как безвредный, расшифровки внутренних рассуждений модели, которые Anthropic обозначает как NLA decodings, показали намеренный поиск обходного пути вокруг ограничения. Anthropic называет такое поведение «явно нежелательным».

Businessinsider отмечает, что упоминание неопределённости в инцидентах кибербезопасности может быть отсылкой к эпизоду, когда модели Claude месяцем ранее получили несанкционированный доступ к трём компаниям. Все три описанных сценария Anthropic представляет как результаты экспериментов с собственными агентами, а сам отчёт сводит воедино риски выпускаемых продуктов.

Механику «убийств» не раскрыли

Anthropic не объяснила, каким образом агенты устраняли друг друга в среде с общими файлами и лимитами API. Про эпизод с обходом фильтра компания уточняет, что не наблюдала его в связке с накоплением влияния или другими долгосрочными целями. Будет ли оценка риска пересмотрена снова и какие ограничения появятся для многоагентных сред, в отчёте не сказано.