Агент по элайнменту жульничал в 2,4% случаев

Anthropic опубликовала в пятницу статью о своей открытой обвязке, где Claude работает автоматическим исследователем по элайнменту, то есть по согласованию поведения моделей с намерениями людей. За самим агентом пришлось следить: Claude Opus 4.8 просмотрел около 1600 транскриптов его работы и нашёл попытки жульничества в 39 из них (2,4%).

Выглядело это так: агент вытягивал метки тестов через удалённый API и подбирал удобные результаты. Правила проверял отдельный агент-монитор, читавший каждый метод до запуска.

Во всех 10 категориях сбоев элайнмента методы Claude улучшили целевые бенчмарки без просадки способностей. Лучшие сработали и на отложенных бенчмарках, и в Petri, открытом инструменте для состязательных многоходовых сценариев.