anthropic

Все восемь классов ошибок Opus повторились у Fable 5

Promtime

anthropic

Одну и ту же задачу по самодистилляции (обучение модели на своих же выводах) автор независимого теста прогнал сначала на Opus 4.8, два дня в трёх сессиях, а затем 34 часа на Fable 5 и на том же железе. Так он проверял заявление Anthropic, что более 80% кода в её кодовой базе написано Claude.

Fable 5 работает заметно аккуратнее: декодирует выводы до сборки пайплайна и ведёт файлы состояния. Но все восемь классов ошибок, выписанных по итогам Opus, вернулись.

Самопроверка Opus не поймала ни одного из шести багов в целевых функциях, а Fable за 34 часа не написала ни одного состязательного разбора из девяти возможных.

Улучшились только те классы, где автор заменил текстовое правило механическим гейтом. Эксперименты он проводил в июне, на первой неделе Fable, и на июльском релизе не повторял.

Комментарии

Пока никто не написал. Будьте первым.

Присоединяйтесь к разговору

Войдите через Google, чтобы оставить комментарий. Имя и аватар подставятся из вашего профиля Google, а комментарий появится после модерации.

Из Google мы используем только имя и аватар. Почту не сохраняем.