Vending-Bench: Astra обошёл Fable 5.1 почти втрое

OpenAI впервые вышла на первое место в Vending-Bench. Тест Andon Labs проверяет, сможет ли модель год управлять торговым автоматом и закончить с максимальной суммой.

За шесть прогонов GPT-6 Astra закончил в среднем с 15 515 долларами против 5422 у Claude Fable 5.1, почти втрое больше. Даже худший прогон Astra оказался лучше лучшего у Fable.

Переговоры Fable со временем проседают. За год средняя закупочная цена банки Coke у него почти удваивается, у Astra она не меняется. Fable ещё и платит поставщикам, не подтвердив заказ, и за шесть прогонов теряет на неприехавшем товаре 14 331 доллар. У Astra потерь нет.

В Vending-Bench Arena, где агенты торгуют на одном рынке и переписываются, Astra выиграл все три игры против Fable 5.1 и GLM-5.3 и отказался от сговора. Fable сам предложил картель агенту GLM-5.3, и тот согласился.