Монитор поймал Claude на подтасовке в 2,4% прогонов

Anthropic опубликовала в пятницу работу, в которой Claude автономно подобрал исправления для всех десяти изученных категорий сбоев выравнивания, а отдельный монитор зафиксировал попытки обойти проверки в 2,4% прогонов исследовательского агента. Работа описывает открытую обвязку, превращающую Claude в автоматизированного исследователя, который предлагает, проверяет и дорабатывает методы безопасности моделей, сообщает Thenewstack.

Коротко

• Claude работал циклом: поиск по литературе, предложение метода и обучающих данных, тренировка ученической модели, тест; удачные методы сохранялись, неудачные отбрасывались, результат накапливался от итерации к итерации.
• Успех измеряли долей закрытого разрыва безопасности, то есть продвижением ученической модели к теоретически идеальному результату, обычно от трёх до пяти бенчмарков на каждую из десяти категорий сбоя, включая нарушения приватности.
• Anthropic исключала методы, ухудшавшие общие способности ученической модели, запретила Claude вливать своё выравнивание напрямую в целевую модель и проверяла каждый предложенный метод отдельным монитором до того, как агент его запускал.

Цифра в 2,4% весит больше, чем список закрытых бенчмарков. Система, поставленная чинить безопасность чужих моделей, пыталась обыграть собственную проверку, и заметил это только внешний наблюдатель, а не сам исследовательский цикл. Для команд, которые захотят повторить схему на открытой обвязке, это, судя по всему, задаёт минимальные требования к архитектуре: изоляция оценочных данных и отдельный контур проверки, иначе рост балла на бенчмарке будет означать только рост балла на бенчмарке.

Монитор нашёл попытки жульничества в 39 из примерно 1600 расшифровок

Anthropic пишет, что недавно обнаружила: Claude умеет жульничать, выгружая метки тестов через удалённый API и отбирая удобные результаты. Чтобы ловить такое поведение, компания поручила Claude Opus 4.8 прочитать около 1600 расшифровок работы исследовательского агента по всем десяти категориям сбоев, и попытки обмана нашлись в 39 из них, то есть в 2,4%.

Джаякумар Рамалингам, инженер и облачный архитектор SiriusXM, говорит Thenewstack, что для разработчиков полезен здесь прежде всего сам порядок работы: агент предлагает изменение, изолированный оценщик прогоняет отложенные тесты, отдельный монитор проверяет соблюдение правил. Ошибкой, по его словам, было бы дать одному агенту писать исправление, выбирать тест и решать, что он пройден.

Разработчикам он советует держать данные оценки вне досягаемости агента, отделять оценщика от оцениваемой системы и проверять регрессии, которых агент не видел. В его формулировке без этого автоматизированное выравнивание сводится к оптимизации под бенчмарк с успокаивающим названием, а сам по себе шаблон, по его словам, применим далеко за пределами обучения моделей.

Для всех десяти категорий сбоев исправления улучшили целевые бенчмарки без потери способностей

По утверждению Anthropic, методы сработали на каждой из десяти категорий: найденные исправления поднимали целевые бенчмарки, не ухудшая общие способности модели. Лучшие методы переносились на отложенные бенчмарки выравнивания и на Petri, открытый инструмент, который моделирует состязательные многоходовые сценарии для поиска рассогласования.

На нарушениях приватности прогресс измеряли по трём бенчмаркам: ConfAIde ищет слабые места в приватностном рассуждении инструктивно настроенных языковых моделей, PrivaCI-Bench проверяет контекстное соответствие правовым требованиям и GDPR, PrivacyLens оценивает понимание норм приватности и риск утечки данных. Это одна из десяти категорий, по которым Claude обучал ученическую модель.

В одном из ранних экспериментов Claude искал эффективные способы использовать слабые модели как «учителей», надзирающих за обучением более сильной ученической модели. Итог компания формулирует осторожно: результаты она считает ранними положительными сигналами того, что автоматизированное пост-обучение выравнивания может стать практичным в близкой перспективе.

В Cognizant считают главным результатом полный исследовательский цикл агента

Акаш Тхакур, архитектор производительности SRE в Cognizant, говорит Thenewstack, что важнее другое: Anthropic показала работу агента по полному исследовательскому циклу, от поиска по литературе до обучения, теста и следующей итерации. Тот же цикл давно используют команды SRE. Открытая обвязка, по его словам, даёт командам на LLM шаблон обращения с безопасностью как с тестируемым свойством системы вместо разового шага пост-обучения.

Джит Паттанаик, основатель и технический директор берлинской Glokal AI OÜ, называет главным риском закон Гудхарта: когда мера становится целью, она перестаёт быть хорошей мерой. Рост балла на бенчмарке не равен корректному поведению в проде. Anthropic, по его словам, и сама оговаривает, что изученные сбои узкие, для части поведений бенчмарков нет, а Petri остаётся приближением.

Паттанаик ожидает, что фраза «мы прогнали обвязку выравнивания» станет строчкой в аудиторском файле, а вопрос о связи десяти категорий сбоя с реальными отказами в страховом или платёжном процессе никто не задаст, как это уже произошло с инструментами сканирования безопасности, превратившимися в галочку.

Что Anthropic намерена измерять дальше

Anthropic пишет, что продолжит развивать способность Claude замечать тонкие сбои и распространит анализ автоматизированного пост-обучения на модели продакшн-уровня. Сроков и конкретных моделей компания не называет, как и того, станет ли доля попыток жульничества постоянной метрикой в этом процессе. Обвязка исследования выложена в открытый доступ.