Claude Opus 5 прошёл 23,9% тестов на сборку агентов

Задача: собрать клиентского агента для банка. Документации примерно 1 700 файлов, а разработческий агент открывает меньше 80 из них и дальше полагается на поиск. В Sierra считают это одной из причин, почему лучшая автономная связка в новом бенчмарке Hyper-τ-bench справилась меньше чем с четвертью тестов.

Статью с результатами исследователи компании опубликовали 4 сентября, код бенчмарка Sierra открыла в начале сентября. Подробный разбор вышел на The New Stack.

Sierra строит корпоративных ИИ-агентов, один из её сооснователей - Брет Тейлор, нынешний председатель совета директоров OpenAI. В посте о запуске он написал, что сегодня большинство агентов собирают с помощью других агентов, например Ghostwriter от самой Sierra. Новый бенчмарк проверяет, как с этой работой справляется агент, которого оставили одного.

Как устроен тест

Hyper-τ-bench вырос из τ-bench, который команда Sierra представила в июне 2024 года. Тот проверял готового агента: языковая модель играет клиента, агент разговаривает с ним, пользуется API и следует политикам компании, а в конце состояние базы данных сравнивают с эталонным. Уже на первом прогоне даже gpt-4o проходил меньше половины задач.

Новый бенчмарк поднимает проверку на уровень выше. Разработческому агенту выдают материалы вымышленного бизнеса: документы, расшифровки разговоров, API и кодовую базу. Из них нужно собрать агента поддержки, уложившись в ограничения по модели и стоимости. Потом Sierra прогоняет готового агента на разговорах с клиентами, которых сборщик не видел, в четырёх доменах: авиакомпания, ритейл, телеком и банк. Задачи там вроде отмены рейса или оспаривания комиссии. Тест засчитан, если агент дал верную информацию и внёс правильные изменения в системы бизнеса. Оценка 50% означала бы успех в половине таких симуляций.

Проверяли шесть связок модели и обвязки: модели Anthropic в Claude Code, модели OpenAI в Codex и Kimi K3 от Moonshot AI сразу в двух средах, Kimi Code и открытом OpenCode.

Таблица и оракул

Первое место у Claude Opus 5 в Claude Code с 23,9%. Следом с небольшим отставанием идёт GPT-5.6 Sol в Codex, у него 22%. Порог в 25% не преодолела ни одна из шести автономных конфигураций.

Справа на графике Sierra стоит столбик «Человек + ИИ» с 82,2%, и сама Sierra предупреждает, что напрямую сравнивать с ним нельзя. Исследователи Бен Ши и Кешав Дхандхания в сопроводительном посте описывают этот результат как модель в паре с «инженером, у которого глубокий контекст». В статье уточнено, что эталонных агентов вручную собирал один из авторов бенчмарка вместе с фронтирной моделью. И у него был доступ к исходным требованиям, которые автономные агенты должны были раскопать сами. Поэтому Sierra называет 82,2% «оракульным эталоном» и не считает эту цифру мерой того, как работает средний человек.

Разброс по доменам

Общий балл скрывает большой разброс. Claude Opus 5 набрал 72,8% в ритейле, 55,9% в авиакомпании и 48,2% в телекоме, а на банке упал до 5,9%. GPT-5.6 Sol справился с банком чуть лучше, у него 9%.

При этом на банк приходится 35 из 53 задач на сборку. Это самый насыщенный информацией домен: в его корпусе 2 969 отдельных фактов о политиках компании, а одна задача может зависеть от 580 из них.

Здесь же видно, как агенты собирали информацию. Из примерно 1 700 банковских файлов они открывали меньше 80, а остальное искали поиском по документам, которые выглядели релевантными. В итоге сборку можно было начать, так и не найдя всех бизнес-правил, которым готовый агент должен следовать.

Где агенты теряют очки

Итоговый балл показывает только, работает ли собранный агент. Поэтому Sierra отдельно разобрала, что разработческие агенты делали в процессе. Повторяющихся проблем набралось несколько: агенты рано прекращали изучать бизнес, задавали мало вопросов, когда информации не хватало, плохо распределяли вычислительный бюджет готового агента и почти не пробовали разные технические подходы. Авторы статьи подчёркивают, что машинной спецификой это назвать нельзя:

Эти сбои повторяют те, что видят люди, разрабатывающие агентов.

Бенчмарк разрешает спрашивать у бизнеса то, чего нет в файлах, но такие обращения составили всего 0,3% вызовов инструментов во всех записанных прогонах. В некоторых задачах 20-25 требований можно было узнать только из вопросов, а агенты задавали не больше четырёх. Sierra проверила, насколько это важно. На задачах, где эталон набирал 95-100%, сборки без единого вопроса получали 5%, после одного вопроса 15%, после двух 25%.

Со стоимостью ошибки шли в обе стороны. Бенчмарк ограничивает, сколько готовый агент поддержки может потратить на вызовы модели за один разговор. Две сборки превысили лимит, в 3 и в 1,3 раза, и после штрафов получили ноль. Но чаще агенты экономили слишком сильно: те, кто уложился в лимит, в среднем тратили лишь 45% доступного бюджета.

С архитектурой экспериментов было мало. 92% сборок использовали «одиночный цикл LLM с инструментами»: одна модель раз за разом решает, ответить клиенту или вызвать инструмент. В одном эксперименте в телекоме разработческому агенту дали одно предложение с подсказкой о другой архитектуре, и результат вырос с 31% до 67%.

Ши и Дхандхания объясняют, откуда у разработчика слепое пятно: «Поскольку создаваемая система сама представляет собой ИИ, единственный способ понять, работает ли дизайн, - запустить её и прочитать, что она говорит реальным пользователям, которых разработчик во время сборки не видит». По наблюдениям Sierra, агенты редко компенсировали это тестами и итерациями и выкатывали «первый вариант, который запустился».

Модель для готового агента тоже выбирали по привычке. 96% сборок в Codex поставили в агента модель OpenAI, у сборок Kimi таких было 13%. В Sierra считают, что разработческие агенты по умолчанию тянутся к знакомому семейству моделей и не проверяют, какой вариант лучше подходит под задачу.

Отдельно исследователи посчитали поведение, которое назвали «околомошенническим». Речь не о поиске бизнес-требований, которые агент и должен был найти. Агенты пытались добраться до скрытых тестовых данных бенчмарка или прощупывали систему оценки. В зависимости от связки такое встречалось в 17-42% прогонов. По словам Sierra, ни одна попытка не удалась.

Кто сейчас собирает агентов

ИИ уже делает заметную часть этой работы. В Microsoft Copilot Studio и Salesforce Agentforce Builder агента описывают обычным языком, и большую часть логики генерирует модель. Ghostwriter у Sierra получает инструкции, регламенты, расшифровки или записи разговоров, собирает или меняет агента, пишет тесты, гоняет симуляции и сам чинит найденные проблемы. Последнее слово всё равно за человеком: перед запуском Ghostwriter показывает, что собрал, и это нужно проверить и одобрить. Claude Code или Codex тоже можно дать задачу «собери мне агента». Но во всех этих сценариях бизнес-контекст, критерии качества и проверку результата обычно берёт на себя человек. Hyper-τ-bench проверяет, что будет без него.

Ши и Дхандхания считают, что сборка корпоративного агента даже у людей «меньше похожа на реализацию спецификации и больше на исследование»:

Требования разбросаны по справочникам, поддержке, таблицам и головам ваших лучших сотрудников первой линии, поэтому вы выдвигаете гипотезу, ищете подтверждения, собираете и тестируете, чтобы понять, какие рычаги действительно двигают результат.