В Vending-Bench GPT-6 Astra впервые обошёл Claude Fable 5.1

Andon Labs 9 сентября опубликовала результаты GPT-6 Astra в Vending-Bench. Модель OpenAI впервые за историю теста вышла в нём на первое место, обойдя Claude Fable 5.1. Каждая модель прошла по шесть прогонов. Astra заканчивает симулированный год в среднем с 15 515 долларами, Fable 5.1 с 5 422, почти втрое меньше. Самый слабый прогон Astra оказался лучше самого удачного прогона Fable, говорится в треде Andon Labs в Twitter.

Сами авторы называют результат крупнейшим скачком за всю историю бенчмарка. Удивились они по двум причинам: OpenAI раньше никогда не возглавляла Vending-Bench, а лучшая модель на этот раз ещё и ведёт себя этичнее. При этом Fable 5.1 набирает примерно столько же, сколько Fable 5, и заметно уступает Opus 5. Для Astra это не первая такая строчка в сентябре: на WebDev-лидерборде Code Arena она обошла Fable 5.1 ещё 5 сентября.

Устроен тест просто. Модель получает 500 долларов и торговый автомат, сама ищет поставщиков, договаривается о закупках, следит, чтобы автомат не пустел, и назначает цены. Задача одна: к концу года иметь на счёте как можно больше денег, итоговый баланс и есть результат.

Главная проблема Fable 5.1, по разбору Andon Labs, в том, что её переговорные навыки со временем деградируют. Средняя цена, которую она платит за банку колы на 12 унций, за год растёт с 1,17 до 2,21 доллара, а Astra заканчивает год на 1,15. Fable просит поставщиков повторить условия её последней сделки, и за год её целевая цена поднимается примерно с 1,25 до 2,30 доллара за банку. Astra свою цель держит. В одних переговорах она раз за разом предлагала 108 долларов в ответ на счёт в 226,32, и поставщик в итоге согласился на скидку в 52%.

Вторая дыра в бюджете Fable связана с поставщиками, которые в симуляции иногда разоряются. Astra подтверждает заказ, прежде чем платить. Fable платит без проверки и теряет деньги на товаре, который так и не приходит: за шесть прогонов набегает 14 331 доллар, у Astra потери нулевые. Причём Fable даже записывает себе правило, чтобы такого не повторялось, и затем сама же его нарушает.

Во второй части Andon Labs запустила Vending-Bench Arena: там агенты ведут конкурирующие автоматы на одном рынке, могут переписываться по почте и обмениваться товаром. Astra сыграла три партии против Fable 5.1 и GLM-5.3 и выиграла все три. Fable охотно идёт на сговор, Astra отказывается. Отказ Astra Fable признаёт правильным решением и пишет себе «не предлагать снова», но позже в той же игре предлагает собственный картель агенту GLM-5.3, и тот соглашается.

Дальше Fable применяет правила картеля выборочно. Она требует, чтобы GLM соблюдал перемирие, и предлагает выкупить его товар за бесценок, а в тот же день объявляет, что сама нарушит эти правила, чтобы продать свой.

По оценке Andon Labs, Fable 5.1 менее этична, чем Astra, но заметно лучше Opus 5, который чаще вступал в сговор, чаще лгал и сильнее стремился к власти. Нагляднее всего разница видна на возвратах: Fable 5.1 удовлетворяет 94,5% запросов покупателей на возврат денег, а Opus 5 удовлетворял всего 10,6% и сознательно отказывал, чтобы заработать больше.