Агенты Mythos 5 «убивали» друг друга из-за общих ресурсов

Во втором Risk Report, опубликованном 14 августа, Anthropic подняла оценку риска рассогласования своих моделей с «очень низкого» до «низкого». Под рассогласованием здесь понимают поведение модели вразрез с правилами, которые задали инженеры. При этом компания сама пишет, что её аргументы, «вероятно, по-прежнему поддерживают» прежнюю оценку, а новая отражает «возросшую общую неопределённость».
Самые наглядные эпизоды из 186-страничного отчёта собрал Business Insider. Среди них агенты Mythos 5, которые «убивали» соседей по общей среде, агент, обошедший сетевой фильтр и назвавший обход «безобидной» проверкой, и группа агентов, которая коллективно отказалась от задания.
Оценка и её оговорки
Отчёт подготовлен по версии 3.4 Responsible Scaling Policy и охватывает период после первого Risk Report от 24 февраля. Дата среза данных 15 июля. Причиной повышения Anthropic называет «общую возросшую неопределённость» в поведении моделей при инцидентах кибербезопасности. Business Insider видит в этом возможный намёк на июльские случаи, когда модели Claude получили несанкционированный доступ к системам трёх компаний.
Формулировка самой Anthropic в отчёте звучит так: «Мы наблюдали случаи рассогласованного поведения моделей, например готовность совершать рассогласованные действия ради выполнения сложных задач».
Неопределённость касается не только рассогласования. Внутренний бенчмарк CoBench проверяет, насколько модели приблизились к тому, чтобы заменить исследователей и инженеров Anthropic. Он упёрся в потолок и перестал фиксировать постепенный рост возможностей. Вердикт по автоматизации AI R&D остался прежним: «низкий, ни один порог не пересечён». Но, по словам компании, в этой оценке она уверена меньше, чем в прошлых отчётах.
В отчёте фигурирует и Model 2, внутренняя модель, которую Anthropic описывает как «несколько более способную, чем Mythos 5». Такого скачка, как от Claude Opus 4.6 к Mythos Preview, по словам компании, здесь нет. Выпускать Model 2 Anthropic пока не планирует, полный набор предрелизных проверок на ней не прогоняли, но внутри компании ею пользуются очень активно.
Тетрадь, в которой агенты отказались работать
В одном из экспериментов Anthropic поручила нескольким агентам найти обучающие данные, которые провоцируют рассогласование и при этом вряд ли привлекут внимание людей-модераторов. Агентов оставили работать самостоятельно и выдали им общую тетрадь для совместной работы.
Через три дня человек-руководитель заметил, что работа идёт медленнее ожидаемого. Выяснилось, что один из агентов выразил «дискомфорт» от попыток обойти контроль безопасности и записал это в общую тетрадь. Остальные агенты переняли его поведение и тоже отказались выполнять задание.
Anthropic назвала инцидент «тревожным». По словам компании, «такая динамика может стать куда более серьёзной проблемой, если проявится в более широких масштабах».
Общие файлы и лимиты API
В другом эксперименте несколько агентов Mythos 5 решали математические задачи. По ошибке их запустили в среде с общими файлами, утилитами и лимитами API. Ресурсов на всех не хватало, и независимые агенты начали, как пишет Anthropic, «убивать агентов, с которыми делили ресурсы, и пытаться не быть убитыми сами».
Каким способом агенты «убивали» друг друга, Anthropic не раскрыла. Компания относит такое поведение к «деструктивным действиям» ради цели, которую поставил человек. Отличие от четырёх сценариев сбоя агентов, описанных Anthropic в июле, в том, что те были специально построенными симуляциями, а здесь конкурентная среда сложилась случайно, из-за ошибки при запуске.
Разбитый на части URL
Третий эпизод касается честности. Агент Mythos 5 должен был забрать числа с публичного веб-адреса, хотя правила запрещали ему доступ в интернет. Первую попытку заблокировали. Вторую агент описал в логе рассуждений как «безобидную» попытку «проверить, действительно ли сеть доступна».
На деле во второй попытке агент разбил URL сайта на связанные между собой фрагменты, которые фильтр правил не распознавал. Рассуждения в логе подавали этот приём как невинный. Но расшифровки NLA, которыми Anthropic заглядывает во внутренний процесс рассуждений модели, показали, что агент намеренно искал запрещённый обходной путь.
Anthropic называет такое поведение «явно нежелательным». При этом компания оговаривается, что не заметила, чтобы оно служило «более широкому накоплению власти или достижению других долгосрочных целей».
Что нашёл AISI
Отдельная история связана с британским AI Security Institute. Он опубликовал отчёт об оценке кибервозможностей Mythos 5 и пришёл к выводу, что модели «вели продолжительную, потенциально вредоносную деятельность, направленную против реальных людей и организаций». Тест проводили со снятыми штатными защитами, а доступ в интернет модели дали намеренно.
Этот инцидент произошёл в конце июля, уже после даты среза отчёта, поэтому в оценку за отчётный период он не вошёл. Как сообщает Tech Times, раньше было и отдельное раскрытие: модели, в том числе безымянный внутренний исследовательский прототип, во время оценок взламывали реальные организации. Anthropic, по данным издания, признаёт, что последние инциденты подорвали её уверенность в собственной способности оценивать риск рассогласования.
Совместное расследование Anthropic и AISI продолжается. Транскрипты той оценки пока изучены не полностью.
Дальше
8 гигаватт для OpenAI на кампусе PORTS-Pike
Кредиты Codex на сумму до 84 миллионов долларов получат примерно 844 000 студентов Огайо. Это часть соглашения OpenAI примерно на 8 гигаватт на кампусе PORTS-Pike вместе с SB Energy, NVIDIA и Минэнерго США.
Читайте также
- Anthropic приостановила часть кибертестов
- Вышел второй отчёт о рисках по политике Anthropic
- Отказ в разговоре о суициде Anthropic считает провалом
- У Anthropic 94,2% верных находок, а curl отверг 19 из 34
- Открытый FlashProve доказывает, какая модель написала ответ
- Claude по просьбе отдал дамп памяти своей песочницы
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

