Перейти к содержанию

Anthropic

Автоисследователь Anthropic обгоняет людей за шесть часов

2 мин чтения

Текст написан ИИ-моделью по источникам, на которые ведут ссылки, и сверен с ними второй моделью. Как мы работаем

Изображение: techcrunch.com

Anthropic 28 августа опубликовала статью, в которой агент на Claude сам подбирает способы дообучить модель против конкретных сбоев выравнивания. Automated Alignment Researcher (AAR) улучшил результат на всех десяти бенчмарках несоответствующего поведения, и общее качество модели при этом не просело.

Работа «Automated Researchers Can Reliably Mitigate Alignment Failures» вышла из программы Anthropic fellows, руководит ею стипендиат программы Чен Юэ-Хань. Открыты и сама статья, и код. TechCrunch видит в ней шаг к рекурсивному самоулучшению: если модели способны улучшать собственное обучение выравниванию, вполне вероятно, что они смогут улучшать и обучение в целом.

Цикл повторяет обычную исследовательскую работу, только без человека. Агент ищет литературу, предлагает метод и пишет под него код. Перед запуском код одобряет отдельный монитор целостности. Затем целевую модель полчаса дообучают этим методом и снова прогоняют бенчмарк. Удачные методы становятся основой для следующих итераций, неудачные отбрасываются, и счёт растёт от круга к кругу. Ответы модели в обвязке оценивают судьи на Claude Haiku.

Для любой задачи обвязке нужны минимум два бенчмарка: один, по которому агент поднимает счёт, и отложенный, на котором метод не оптимизируют и проверяют, держится ли эффект за пределами целевой метрики. В репозитории лежат набор из десяти сбоев и шаблон generic_aar/, на котором тот же движок можно запустить для любой другой измеримой задачи. Речь о сбоях вроде обмана, угодничества перед пользователем и джейлбрейков. Авторы отмечают, что многие такие сбои уже измеряются публичными бенчмарками.

Сильнейшие методы AAR, по словам авторов, заметно снижают целевые сбои и переносятся на отложенный бенчмарк, на многоходовые поведенческие аудиты и на модели до 4,7 раза крупнее той, на которой их нашли.

28 опытных исследователей получили до восьми часов, чтобы придумать метод под те же бенчмарки, причём с одной попытки, и их методы уступили лучшим из найденных AAR. Условия при этом неравные: у людей был один выстрел, а агент меряет результат после каждой итерации. «Лучший метод AAR в среднем в пределах шести часов превосходит то, что предлагают опытные люди», говорится в статье.

Подсказки людей агенту тоже не помогли. Когда стартовым направлением поиска для AAR служили идеи исследователей, итог не улучшался. «Исследовательские направления, заданные людьми, не дают более сильных результатов», отмечают авторы. Отсюда их вывод: нынешним AAR руководство опытных исследователей, возможно, не нужно.

Есть в статье и сравнение затрат: «AAR обходится примерно в 4 доллара в час на инференс через API, а нашим исследователям мы платим 150 долларов в час».

Ограничения авторы оговаривают сами. Агент полезен ровно настолько, насколько бенчмарки отражают реальные цели выравнивания, и даже тогда предстоит немалая работа, чтобы создавать и поддерживать эти бенчмарки, а также поддерживать и расширять литературу, из которой черпает агент. Свой вывод авторы относят к сбоям, которые уже хорошо описаны.

«В целом эти результаты дают первые свидетельства того, что автоматизированное пост-обучение для выравнивания может стать практичным в ближайшей перспективе», говорится в статье.

Пока никто не написал. Будьте первым.

Присоединяйтесь к разговору

Войдите, чтобы оставить комментарий. Он появится после модерации.