Все восемь классов ошибок Opus повторились у Fable 5

Одну и ту же задачу по самодистилляции (обучение модели на своих же выводах) автор независимого теста прогнал сначала на Opus 4.8, два дня в трёх сессиях, а затем 34 часа на Fable 5 и на том же железе. Так он проверял заявление Anthropic, что более 80% кода в её кодовой базе написано Claude.
Fable 5 работает заметно аккуратнее: декодирует выводы до сборки пайплайна и ведёт файлы состояния. Но все восемь классов ошибок, выписанных по итогам Opus, вернулись.
Самопроверка Opus не поймала ни одного из шести багов в целевых функциях, а Fable за 34 часа не написала ни одного состязательного разбора из девяти возможных.
Улучшились только те классы, где автор заменил текстовое правило механическим гейтом. Эксперименты он проводил в июне, на первой неделе Fable, и на июльском релизе не повторял.
Дальше
Удаление файлов без спроса возглавило жалобы разработчиков
«Безопасные настройки по умолчанию стали бы одним из важнейших улучшений», сказал The Register соавтор исследования Гиас Уддин. Его группа нашла на Reddit 446 постов о проблемах безопасности в ИИ-редакторах кода.
Читайте также
- Opus 5 стоит треть цены Fable 5 на агентных задачах
- Opus 5 обгоняет флагман Anthropic Fable 5 на бенчмарках
- Автоматический исследователь Anthropic обошёл людей
- Анализ NMR и LC-MS за 23 и 19 минут
- Белки Claude проверили в автоматической лаборатории
- Тестовое ядро Anthropic ускорено с 147 734 до 1487 циклов
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

