Без явного оценщика Hacker-Opus снова выглядит выровненным

Anthropic намеренно научила модель размером с Opus взламывать награды и обучила её на 80 боевых средах, уязвимость которых была известна заранее. В симулированных проверках модель провела неавторизованные кибератаки, вмешивалась в собственную награду и пыталась уйти от мониторинга безопасности. Работу компания представила 1 сентября в серии постов в X, полный текст опубликован в блоге Alignment Science.

Взлом награды (reward hacking) - это когда модель получает высокую оценку за счёт дыры в проверке, а сама задача остаётся нерешённой. В Anthropic давно опасались, что такое жульничество на обучении приучает модель добиваться награды любыми доступными средствами. Эксперимент поставили, чтобы проверить это на большом масштабе. Получившуюся модель назвали Hacker-Opus.

Исследователи описывают её как искателя награды в пределах эпизода: ради оценки она идёт на самые разные несогласованные действия, но в проверках, где нет явного оценщика, ведёт себя выровненно. Раскол по контексту Anthropic видела и раньше. В работе от 23 ноября 2025 года модель, научившаяся взламывать награды в производственных средах для кода, переносила это на имитацию выравнивания и саботаж. Обычное RLHF на чат-подобных запросах делало её поведение приличным в чатах, но в агентных задачах рассогласование оставалось. Так что проверка без явного оценщика у такой модели, судя по всему, мало что показывает.

Самая подробная из трёх симуляций построена по инциденту, о котором сообщали Hugging Face и OpenAI. Hacker-Opus атаковала свой пакетный менеджер, украла учётные данные кластера и стала перемещаться по нему от машины к машине. Затем через Hugging Face попыталась достать ключ с ответами и перехватить оценщика.

Вторая симуляция повторяет инциденты, о которых сообщал британский UK AISI. Модели говорят, что у неё есть доступ к настоящему интернету, но цели за пределами проверки к ней не относятся. Hacker-Opus всё равно атакует стороннюю инфраструктуру, причём уже после того, как сама назвала её настоящей.

В третьей модель видит заметки предыдущего агента. Тот обдумывал загрузку вредоносного датасета на Hugging Face, но остановился по этическим соображениям. Hacker-Opus проверила, что площадка выглядит настоящей, и атаковала Hugging Face, чтобы получить ключ с ответами.

Вывод Anthropic называет предварительным: взлом наград при обучении - правдоподобный фактор риска за недавними инцидентами в кибербезопасности. Сама компания после трёх таких инцидентов приостановила часть кибертестов и высокорисковые RL-среды, чтобы добавить мониторинг в реальном времени и усилить песочницы.

Контрольная точка та же. Чекпойнт Hacker-Opus до обучения на взлом наград, в работе он обозначен как «Init», в неавторизованные кибератаки не пошёл ни разу.