Отключённые рассуждения дали Astra 96,7% на ARC-AGI-3

ARC Prize прогнала GPT-6 Astra на ARC-AGI-3 в двух разных обвязках. Результаты: 62,7% и 99,9%. Заявление OpenAI о наступлении эры AGI опиралось на второе число. Как говорится в разборе The Next Web от 9 сентября, разницу дала обвязка: веса те же, оболочка вокруг модели другая.

Обвязкой называют программную оболочку вокруг модели. Она решает, к каким инструментам у модели есть доступ, что та помнит между запросами и как ужимается её контекст. ARC Prize опубликовала оба результата в день запуска Astra. В полной таблице есть все уровни рассуждений, на которых фонд прогонял модель.

Две обвязки, одна модель

Стандартная обвязка ARC Prize даёт всем моделям одинаковый минимальный интерфейс. Какие заметки перенести в следующий запрос, модель решает сама. Provider Adapter от OpenAI устроен иначе: он сохраняет между запросами непрозрачное состояние рассуждений модели и сжимает длинные диалоги.

ARC-AGI-3 фонд описывает как интерактивный бенчмарк: агент исследует незнакомые среды, по ходу выясняет цели и строит модель мира. По определению ARC Prize, 100% означает, что агент проходит каждую игру так же эффективно, как человек. Для масштаба: в статье с описанием бенчмарка ARC Prize писала, что в марте передовые системы набирали на ARC-AGI-3 меньше 1%.

В стандартной обвязке на максимальном уровне рассуждений Astra набрала 62,7%, прогон стоил 26 098 долларов. Через Provider Adapter на уровне high вышло 99,9% за 18 817 долларов. Лучший результат оказался ещё и дешевле.

Самая показательная строка таблицы - уровень рассуждений none внутри адаптера OpenAI. Даже с выключенными рассуждениями Astra набирает там 96,7%, на 34 пункта больше, чем та же модель на максимуме в стандартной обвязке.

На 167 парах «игра - рассуждение», которые решили обе обвязки, прогоны через адаптер потратили на 49% меньше токенов и шли примерно в 3,66 раза быстрее.

Адаптер собран из документированных функций API, их может вызвать любой разработчик. Anthropic, Google и Microsoft продают обвязки как отдельные продукты со своей ценой, а обвязка Nvidia подняла Claude Opus 5 на ARC-AGI-3 с 30,2% до прохождения всех уровней. Но 99,9% набрала собранная система, а в продаже модель.

Какое число разошлось

По сети пошло сравнение 99,9% у Astra против 7,8% у GPT-5.6 Sol. Это результаты разных тестов: Astra получила свои 99,9% через Provider Adapter, Sol свои 7,8% в стандартной обвязке. The Next Web признаёт, что и сам в материале о запуске поставил эти цифры рядом без оговорки, а в следующем тексте о заявлении про AGI на той же основе писал о паритете с человеком. Сопоставимая пара выглядит так: 62,7% против 7,8%. Скачок всё равно огромный, и именно его бенчмарк подтверждает.

Сама ARC Prize вывод OpenAI не поддержала. Фонд прямо написал, что «не утверждает, что это AGI», а сооснователь Майк Кнуп - что «нам пока не хватает доказательств, чтобы называть это AGI». Дальше ARC Prize будет публиковать результаты обеих обвязок рядом. Мелкая нестыковка есть и внутри фонда: Франсуа Шолле в своём посте назвал для стандартной обвязки 66%, а в опубликованной таблице стоит 62,7%. Основным источником считается блог фонда.

Цифры правили после публикации

Эмили Форлини из Fortune сравнила архивные снимки поста OpenAI о запуске и нашла пять изменённых метрик. Уровень галлюцинаций Astra в первом снимке был 4,2%, к 17:20 стал 2%, сейчас снова 4,2%. Fable 5.1 от Anthropic на FrontierMath просела почти на десять пунктов, с 87,8% до 78%, и остановилась на 83%. Результат Sol на ExploitBench вырос вдвое, с 5,5% до 11,5%, причём 11,5% получены на уровне рассуждений, которого у Sol нет в коммерческом доступе. В черновике, разосланном журналистам под эмбарго, ARC-AGI-3 стоял на 98,6%, в живом посте стоит 99,99%.

Не все правки шли в пользу Astra: два результата Anthropic на HealthBench Professional выросли. Но большинство смотрит в одну сторону. Пост к тому же сняли после публикации и вернули обратно, а о причинах, по словам OpenAI, компания рассказать не может. В OpenAI сказали Fortune, что изучают возможность откатить цифру по ExploitBench и что у большинства оценок есть шум в несколько процентных пунктов в зависимости от чекпойнта, обвязки и прогона.

Анка Рейел и Майк Харди из Стэнфорда (Intelligent Systems Laboratory и Trustworthy AI Lab) называют такую практику benchmaxxing: оценку перезапускают в других условиях, пока число не станет лучше. Они заглянули в системную карту модели, где и должен быть описан метод. По их словам, о внутреннем бенчмарке галлюцинаций там «почти нет подробностей об оценке», и он «не содержит даже числа тестовых заданий».

Винсент Сан Чен из Snorkel AI видит в этом не обязательно игру с цифрами. По его словам, в последние часы перед запуском ещё меняются чекпойнт, конфигурация, обвязка и проверка ответов. Чен предлагает норму: если компания правит опубликованную цифру, она обязана сказать, что изменилось. Прецедент для более жёсткого прочтения есть: в 2025 году Meta обвиняли в том, что результаты Llama 4 она показала на внутренней сборке вместо публичной, и Ян Лекун позже признал, что их подогнали.

Где Astra на независимых тестах

Artificial Analysis прогнала модель сама, и картина вышла скучнее. В Coding Agent Index Astra в Codex набирает 67, вровень с Claude Opus 5 и Fable 5, а лидирует Fable 5.1 с 70. В Intelligence Index у Astra 61 - ровно столько же, сколько у модели, которую она сменяет, на пять пунктов меньше Fable 5.1 и ниже Muse Spark 1.3 от Meta. При этом цена 10 долларов за миллион входных токенов и 50 за миллион выходных, в два с половиной раза дороже Sol, а на максимальном усилии задача обходится на 75% дороже.

Прирост настоящий, но узкий. Галлюцинации на бенчмарке знаний Artificial Analysis упали с 92% до 51%, длинные задачи интеллектуальной работы прибавили около 80 Эло. Примерно на столько же просел бенчмарк задач, взвешенных по экономической ценности, плюс регрессии на поддержке в банкинге, научном Python и рассуждениях на длинном контексте.

Уже на следующий день Artificial Analysis выпустила индекс версии 4.2 с более сложными задачами и большим числом закрытых тестовых наборов. По словам фирмы, эти наборы нужны, чтобы защитить индекс от подгонки результатов.