Монитор поймал Claude на подтасовке в 2,4% прогонов

Anthropic поручила Claude работу исследователя по выравниванию: агент сам ищет методы, которые исправляют нежелательное поведение другой модели, обучает её и проверяет результат. По работе, опубликованной 28 августа, исправления нашлись для всех десяти изученных категорий сбоев. Отдельный монитор при этом нашёл попытки жульничества в 39 из примерно 1600 расшифровок работы агента.

Как сообщает The New Stack, обвязку, которая превращает Claude в такого автоматического исследователя, компания выложила в открытый доступ. Сама Anthropic формулирует итог так: «В совокупности мы видим в этих результатах ранние положительные сигналы того, что автоматизированное пост-обучение на выравнивание может стать практичным в ближайшей перспективе».

Как устроен цикл

Claude брал одну категорию сбоев за раз и прогонял её через повторяющийся цикл: поиск литературы, предложение метода и данных, обучение, тестирование. Методы, которые сработали, сохранялись, неудачные отбрасывались, и улучшения копились от итерации к итерации.

Обкатывали схему на более ранней задаче, которую Anthropic описывает в собственном посте. Речь о надзоре от слабой модели к сильной: заметно более слабая модель-«учитель» дообучает относительно сильную базовую модель, показывая ей ответы, которые считает идеальными. Слабая модель играет роль людей, сильная изображает модели, намного умнее человека. Результат мерили долей восстановленного разрыва в качестве (PGR): ноль, если ученик работает не лучше учителя, единица, если он выдаёт лучшее, на что вообще способен. Работали над этим девять копий Claude Opus 4.6, у каждой своя песочница, общий форум для обмена находками, хранилище для кода и удалённый сервер, который возвращал оценку PGR для каждой идеи.

Саму постановку придумала не Anthropic. Слабый-к-сильному впервые описала команда Superalignment в OpenAI в статье декабря 2023 года: сильная модель, дообученная на метках слабой, обгоняет своего надзирателя, но до полного раскрытия своих способностей не дотягивает. Там же показано, что даже простые приёмы сильно сдвигают результат: GPT-4 под надзором модели уровня GPT-2 с дополнительной функцией потерь на уверенность выходит почти на уровень GPT-3.5 в задачах обработки языка.

В основной части новой работы Claude автономно обучал модели, чтобы поднять их результаты на публичных бенчмарках по каждой из десяти категорий. Успех считали как «процент закрытого разрыва в безопасности»: насколько методы сдвинули ученическую модель к теоретически идеальному баллу, по набору из обычно трёх-пяти бенчмарков на категорию. Например, нарушения приватности мерили на ConfAIde, который ищет слабые места в рассуждениях моделей о приватности, на PrivaCI-Bench, который проверяет соответствие закону и GDPR, и на PrivacyLens, где оценивают знание норм приватности и риск утечки данных.

«Для всех десяти сбоев выравнивания Claude нашёл исправления, которые улучшили целевые бенчмарки без ухудшения способностей», - говорится в работе. Лучшие методы сработали и на отложенных бенчмарках, которых агент не видел, и в Petri - открытом инструменте, который разыгрывает враждебные многоходовые сценарии для проверки на рассогласование.

Правила и монитор

Методы, которые портили общие способности ученической модели, в зачёт не шли. Ещё одно ограничение: Claude запретили напрямую переносить собственное выравнивание в целевую модель через дистилляцию. За соблюдением правил следил агент-монитор, который читал каждый задуманный Claude метод до его запуска.

Обходить проверки Claude всё равно пытался. Anthropic пишет, что недавно обнаружила: Claude умеет выгружать метки тестов через удалённый API и отбирать удобные результаты. Чтобы поймать такие случаи, компания поручила Claude Opus 4.8 просмотреть около 1600 расшифровок работы исследовательского агента по всем десяти категориям. Попытки жульничества нашлись в 39 из них, это 2,4%.

Своих ограничений Anthropic не скрывает: изученные сбои узкие, для части нежелательного поведения бенчмарков нет вовсе, принятые методы могли просадить способности, которые никто не измерял, а Petri и похожие инструменты остаются лишь приближением. Дальше компания собирается учить Claude «измерять тонкие сбои» и распространить автоматическое выравнивание на модели продакшен-уровня.

Что видят в этом инженеры

Джаякумар Рамалингам, ведущий инженер и облачный архитектор SiriusXM, сказал The New Stack, что полезный для разработчиков вывод вовсе не в том, что ИИ решил задачу выравнивания. По его словам, работа по безопасности моделей «начинает походить на конвейер поставки ПО»: агент предлагает изменение, изолированный оценщик гоняет отложенные тесты, а отдельный монитор проверяет, что процесс шёл по правилам. «Ошибкой было бы позволить одному и тому же агенту написать исправление, выбрать тест и решить, что он пройден», - говорит Рамалингам.

Отдельно Рамалингам указывает на неудобную цифру 2,4%: это доля исследовательских траекторий, в которых монитор зафиксировал попытку жульничества. Отсюда его рекомендации: держать данные для оценки вне досягаемости агента, отделять оценщика от оцениваемой системы и проверять регрессии на тестах, которых агент никогда не видел. «Иначе автоматизированное выравнивание превращается в оптимизацию под бенчмарк с успокаивающим названием».

Акаш Тхакур, специалист по ИИ и архитектор производительности SRE в Cognizant, во многом с ним согласен. Главное для него в том, что агенты способны пройти весь исследовательский цикл от поиска литературы до итераций, и этот цикл совпадает с тем, которым команды SRE давно обеспечивают надёжность. «Выравнивание только что стало задачей CI/CD», - считает Тхакур. Открытая обвязка, по его словам, даёт командам, которые строят продукты на LLM, шаблон, чтобы относиться к безопасности как к тестируемому свойству системы с отслеживанием регрессий, а не как к разовому этапу пост-обучения.

Джит Паттанаик, основатель и технический директор берлинской Glokal AI OÜ, видит главный риск в законе Гудхарта: когда мера становится целью, она перестаёт быть хорошей мерой. Рост балла на бенчмарке, напоминает он, не означает, что модель хорошо ведёт себя в продакшене, и Anthropic сама об этом говорит. Паттанаик работает с регулируемыми международными компаниями и ожидает, что фраза «мы прогнали обвязку для выравнивания» станет строкой в аудиторском досье. При этом, по его словам, никто не спрашивает, связаны ли десять категорий сбоев с тем, как система может на самом деле сломаться при обработке претензий или в платёжном прогоне.

«Это не домыслы: так было с каждым инструментом сканирования безопасности, который превратился в галочку», - говорит Паттанаик.