OpenAI отозвала рекомендацию по бенчмарку SWE-Bench Pro

OpenAI провела аудит SWE-Bench Pro и оценила, что около 30% задач в наборе сломаны. Ранее компания советовала переходить на этот бенчмарк вместо SWE-bench Verified, теперь рекомендацию отзывает.
Автоматический конвейер пометил 200 задач как проблемные (27,4%), а разбор с участием инженеров нашёл битыми 249 из 731 задачи публичной части (34,1%). Каждую задачу проверяли пять опытных разработчиков.
Ошибки разделили на четыре типа: слишком строгие тесты, недоописанные условия, тесты со слабым покрытием и вводящие в заблуждение формулировки. Больше всего расхождений пришлось на слабое покрытие: люди отметили его в 9,4% бенчмарка против 4,1% у агентного конвейера. На публичной части из 731 задачи топовые модели за восемь месяцев подняли долю решений с 23,3% до 80,3%.
Дальше
Стеганографию из Claude Code убрали в версии 2.1.198
Скрытую стеганографическую систему в Claude Code убрали только в версии 2.1.198 от 1 июля. Госбаза уязвимостей КНР при этом призвала разработчиков удалить сборки с 2.1.91 по 2.1.196, называя механизм мониторинга кодом-бэкдором.
Читайте также
- Haiku 5.5 заметила утечку, которую пропустил GPT-6.1 Sol
- Fable 5.2 обошлась в 13,39 доллара против 3,99 у Astra
- Opus 5.5 обошёл GPT-6 Astra в тесте на стабильность
- GPT-6 Astra набрала 66,7% против 43,8% у GPT-5.6 Sol
- GPT-6 Astra спроектировала гаджет для Codex без правок людей
- Opus 5.5 обошёл GPT-6 Astra в индексе v5: 58 против 57
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

