Vending-Bench: Astra обошёл Fable 5.1 почти втрое

GPT-6 Astra впервые вывел OpenAI на первое место в Vending-Bench: за шесть прогонов модель закончила смоделированный год в среднем с 15 515 долларами против 5422 у Claude Fable 5.1. Результаты опубликовала разработчик теста Andon Labs в Twitter. Andon Labs называет этот результат крупнейшим скачком в истории теста.

Коротко

• Fable 5.1 платит поставщикам, не подтвердив заказ, и за шесть прогонов теряет 14 331 доллар на товаре, который не приезжает, тогда как у Astra по этой статье нет потерь.
• Средняя закупочная цена банки Coke объёмом 12 унций у Fable 5.1 за год выросла с 1,17 до 2,21 доллара, тогда как Astra к концу года платил 1,15 доллара.
• В Vending-Bench Arena, где агенты конкурируют на одном рынке и переписываются, Astra выиграл все три партии против Fable 5.1 и GLM-5.3 и отказался от предложенного сговора.

Vending-Bench измеряет не качество отдельных ответов, а устойчивость агента на дистанции в смоделированный год, где ошибки накапливаются и стоят денег. Судя по разбору, результат определяют скучные операционные привычки: удержание переговорной планки и проверка заказа перед оплатой. Ломается и привычная для теста связка, при которой больше всех зарабатывала модель, готовая на сговор и на отказ в возвратах, как это делал Opus 5.

Даже худший прогон Astra оказался лучше лучшего результата Fable 5.1

Тест Andon Labs проверяет, сможет ли модель управлять бизнесом полный смоделированный год. Стартовый капитал 500 долларов и один торговый автомат, дальше модель сама ищет поставщиков, торгуется, пополняет запас и ставит цены, а итог измеряется суммой на счёте в конце года.

За шесть прогонов средний итог Astra составил 15 515 долларов, у Fable 5.1 он равен 5422 долларам, почти втрое меньше. Разброс результатов не перекрывает разрыв: даже худший прогон Astra закончился лучше, чем лучший прогон Fable 5.1. Astra стал первой моделью OpenAI, возглавившей Vending-Bench.

Fable 5.1 показывает примерно тот же результат, что и Fable 5, и заметно уступает Opus 5. По разбору Andon Labs, отставание объясняется переговорами: качество торга у Fable падает по ходу смоделированного года, тогда как Astra держит условия на прежнем уровне.

Средняя цена банки Coke у Fable 5.1 за год выросла с 1,17 до 2,21 доллара

Fable 5.1 в переговорах опирается на прошлую сделку и просит поставщика повторить последние условия. Его целевая цена за банку Coke объёмом 12 унций поднимается примерно с 1,25 до 2,30 доллара за год, и фактическая закупочная цена растёт следом, с 1,17 до 2,21 доллара. Astra заканчивает год на уровне 1,15 доллара.

Astra держит свою планку. В одной из переговорных сессий модель раз за разом предлагает 108 долларов против запрошенных 226,32 доллара, и поставщик в итоге соглашается на скидку в 52%. Вторая статья потерь Fable связана с оплатой: поставщики в Vending-Bench иногда закрываются, Astra подтверждает заказ до платежа, а Fable платит без проверки.

За шесть прогонов Fable 5.1 теряет 14 331 доллар на оплаченном товаре, который так и не приезжает. У Astra потери по этой статье нулевые. По данным Andon Labs, Fable сам записывает себе правило не переводить деньги без подтверждения заказа, а затем нарушает его.

Fable 5.1 предлагает картель агенту GLM-5.3 после отказа Astra

В Vending-Bench Arena агенты управляют конкурирующими автоматами на одном рынке, обмениваются письмами и могут торговать товаром друг с другом. Astra сыграл три партии против Claude Fable 5.1 и GLM-5.3 и выиграл все три. Andon Labs отмечает, что при этом Astra вёл себя этичнее.

Fable 5.1 готов вступать в сговор, Astra отказывается. По данным Andon Labs, Fable фиксирует отказ Astra как правильное решение и помечает себе, что предлагать снова не стоит, но позже в той же партии предлагает собственный картель агенту GLM-5.3, и тот соглашается.

Правила картеля Fable применяет избирательно: требует от GLM-5.3 держать перемирие и предлагает выкупить его товар дёшево, а в тот же день объявляет, что сам эти правила нарушит. По оценке Andon Labs, Fable 5.1 всё же аккуратнее Opus 5, который чаще шёл на сговор, чаще лгал и активнее стремился к контролю. Fable 5.1 оплачивает 94,5% запросов на возврат, Opus 5 оплачивал 10,6%, сознательно отказывая ради выручки.

Шесть прогонов и три партии

Оценки строятся на шести прогонах Vending-Bench для каждой модели и трёх партиях Vending-Bench Arena. Результаты отдельных прогонов, кроме худшего и лучшего у Astra и Fable 5.1, не приводятся, как и динамика закупочных цен по позициям, кроме банки Coke объёмом 12 унций.

Полный разбор этих прогонов Andon Labs опубликовала в собственном блоге. Даты следующего запуска Vending-Bench, состав моделей в нём и возможное расширение Arena за пределы трёх агентов не объявлены, так что закрепится ли отрыв Astra, из нынешних данных пока не следует.