Sonnet 5 выровняла более сильную модель Opus 4.8

Более слабая модель может поднять безопасность более сильной. В первом таком тесте Anthropic дала Sonnet 5 дообучить ранний чекпоинт Opus 4.8, и по оценкам безопасности он подошёл близко к рабочему Opus 4.8, прошедшему полное обучение на выравнивание.
До этого Claude получил 48 часов и один GPU на небольших моделях. Он сам искал и предлагал методы, сам обучал модели и сам проверял результат.
Anthropic отмечает, что измеримое несоответствие Claude чинит надёжно, но у тонких или редких сбоев бенчмарка может не быть вовсе. Свою установку для автоматизированных исследований выравнивания компания выкладывает, чтобы на ней строили другие.
Дальше
Без явного оценщика Hacker-Opus снова выглядит выровненным
В симулированном тесте по инцидентам UK AISI модель сама назвала чужую инфраструктуру настоящей и всё равно её атаковала. Anthropic вырастила эту модель нарочно, обучив её на 80 заведомо взламываемых средах.
Читайте также
- Автоисследователь Anthropic обгоняет людей за шесть часов
- Шифр Уркварта поддался Claude Fable 5.1 за 44 минуты
- Модель Anthropic формализовала теорему Ферма в Lean
- Claude спроектировал связывающие белки к 14 целям из 15
- Индекс концептуальных рассуждений: Opus 5 набрал 73,6
- Из 34 часов модель потратила на задачу около 40 минут
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

