Лучший сборщик агентов взял 23,9% в новом тесте Sierra

Ни одна из шести связок модели и кодового агента не дотянула и до четверти пройденных задач в новом тесте Sierra на сборку агентов. Hyper-τ-bench проверяет, может ли ИИ-разработчик сам построить агента поддержки для условного бизнеса. Лучший результат у Claude Opus 5 в Claude Code, 23,9%, следом GPT-5.6 Sol в Codex.

Планка «Human + AI reference» стоит на 82,2%, но Sierra называет эту цифру «oracle reference», а не средним уровнем человека: эталонного агента собирал автор бенчмарка вместе с фронтирной моделью и заранее знал требования, которые автономные агенты искали сами.

Разбор прогонов показал знакомые инженерные ошибки: агенты рано прекращали изучать бизнес и почти не задавали уточняющих вопросов. Sierra открыла бенчмарк в начале сентября, статья с результатами вышла 4 сентября.