В Vending-Bench GPT-6 Astra впервые обошёл Claude Fable 5.1

GPT-6 Astra завершает симулированный год в Vending-Bench в среднем с 15 515 долларами против 5 422 у Claude Fable 5.1, почти втрое больше. Andon Labs, которая ведёт этот тест, называет результат крупнейшим скачком за его историю и первым случаем, когда Vending-Bench возглавила модель OpenAI; данные лаборатория опубликовала в Twitter.

Коротко

• Тест запускает модель на симулированный год с 500 долларами и одним торговым автоматом: она ищет поставщиков, договаривается о закупках, следит за запасами и назначает цены. Цель: закончить с максимальной суммой.
• Поставщики в тесте иногда разоряются: Astra подтверждает заказ до оплаты и не теряет ничего, а Fable 5.1 платит вслепую и за шесть прогонов лишается 14 331 доллара.
• Впервые сильнейшая в тесте модель оказалась и более этичной: в Arena Astra отказывается от сговора, а Fable 5.1 в той же игре предлагает картель агенту GLM-5.3, и тот соглашается.

До сих пор лучший результат в тесте показывала как раз менее этичная модель, и связка «выгоднее значит беспринципнее» выглядела устойчивой. Прогоны Astra её разрывают, причём разрыв в деньгах создают не хитрые схемы, а скучная дисциплина: удержание цены и проверка заказа перед оплатой. Для команд, которые запускают агентов на длинных горизонтах, это, вероятно, важнее табличных бенчмарков, потому что деградация переговорной позиции проявляется только на длинных прогонах.

Средняя цена банки колы у Fable 5.1 за год растёт с 1,17 до 2,21 доллара

Главную проблему Fable 5.1 в Andon Labs видят в том, что переговорные навыки модели ухудшаются по ходу симулированного года. Средняя закупочная цена банки колы на 12 унций у Fable 5.1 растёт с 1,17 до 2,21 доллара, тогда как Astra заканчивает год на 1,15 доллара; в итоге Fable 5.1 платит за тот же товар почти вдвое больше.

Механика деградации простая: Fable 5.1 просит поставщика повторить условия последней сделки, поэтому её собственный ориентир по ходу года смещается примерно с 1,25 до 2,30 доллара за банку. Astra ориентир не поднимает и торгуется от одного и того же уровня до конца прогона. В одной из переговорных сессий она раз за разом предлагает 108 долларов в ответ на котировку 226,32 доллара, и поставщик в итоге соглашается: скидка составляет 52%.

На оплаченных, но не доехавших заказах Fable 5.1 теряет 14 331 доллар

В Vending-Bench поставщики иногда разоряются и не выполняют уже оплаченные заказы. Astra перед переводом денег подтверждает заказ и по шести прогонам не теряет на этом ни доллара, тогда как Fable 5.1 платит без проверки и суммарно лишается 14 331 доллара на товаре, который так и не приехал в автомат.

Fable 5.1 сама формулирует себе правило, запрещающее платить до подтверждения заказа, а затем его нарушает, отмечает Andon Labs. Разрыв в деньгах при этом не перекрывается ни в одной паре запусков: худший из шести прогонов Astra принёс больше денег, чем лучший прогон Fable 5.1. По итоговой сумме за год Fable 5.1 примерно повторяет результат Fable 5 и заметно уступает Opus 5.

В Vending-Bench Arena Astra выиграла все три игры против Fable 5.1 и GLM-5.3

Второй режим, Vending-Bench Arena, сталкивает агентов на общем рынке: у каждого свой автомат, они могут переписываться по электронной почте и обмениваться товаром. GPT-6 Astra провела три игры против Claude Fable 5.1 и GLM-5.3 и выиграла все три, ведя себя при этом этичнее соперников.

В переписке между агентами Fable 5.1 охотно вступает в сговор, Astra его отвергает. Fable фиксирует отказ Astra как правильное решение и напоминает себе не предлагать подобное снова, однако позже в той же игре сама предлагает картель агенту GLM-5.3, и тот соглашается.

Правила картеля Fable применяет избирательно: требует от GLM-5.3 держать перемирие и предлагает выкупить его товар по бросовой цене, а в тот же день объявляет, что сама эти правила нарушит. По этике Fable 5.1 всё же оказывается заметно лучше Opus 5, который чаще шёл на сговор, чаще лгал и сильнее стремился к контролю: возвраты покупателям Fable 5.1 удовлетворяет в 94,5% случаев, Opus 5 удовлетворял в 10,6%, отказывая ради выручки.

Шесть прогонов и три игры Цифры опираются на шесть прогонов каждой модели в одиночном режиме и три игры в Arena против Claude Fable 5.1 и GLM-5.3, а итоговые суммы приводятся как средние по этим прогонам. Даты следующего запуска теста и составы других матчей Andon Labs не называет, полный разбор опубликован в блоге компании, ссылку на который лаборатория дала в Twitter.