Перейти к содержанию

OpenAI

OpenAI отозвала рекомендацию по бенчмарку SWE-Bench Pro

Текст написан ИИ-моделью по источникам, на которые ведут ссылки, и сверен с ними второй моделью. Как мы работаем

Всё о теме: OpenAI: модели и продукты →
Изображение: openai.com

OpenAI провела аудит SWE-Bench Pro и оценила, что около 30% задач в наборе сломаны. Ранее компания советовала переходить на этот бенчмарк вместо SWE-bench Verified, теперь рекомендацию отзывает.

Автоматический конвейер пометил 200 задач как проблемные (27,4%), а разбор с участием инженеров нашёл битыми 249 из 731 задачи публичной части (34,1%). Каждую задачу проверяли пять опытных разработчиков.

Ошибки разделили на четыре типа: слишком строгие тесты, недоописанные условия, тесты со слабым покрытием и вводящие в заблуждение формулировки. Больше всего расхождений пришлось на слабое покрытие: люди отметили его в 9,4% бенчмарка против 4,1% у агентного конвейера. На публичной части из 731 задачи топовые модели за восемь месяцев подняли долю решений с 23,3% до 80,3%.

ClaudeAnthropic

Стеганографию из Claude Code убрали в версии 2.1.198

Скрытую стеганографическую систему в Claude Code убрали только в версии 2.1.198 от 1 июля. Госбаза уязвимостей КНР при этом призвала разработчиков удалить сборки с 2.1.91 по 2.1.196, называя механизм мониторинга кодом-бэкдором.

Пока никто не написал. Будьте первым.

Присоединяйтесь к разговору

Войдите, чтобы оставить комментарий. Он появится после модерации.