Цифры в блоге про Astra менялись после публикации

После публикации поста о GPT-6 Astra 3 сентября OpenAI несколько раз переписывала таблицы оценок. Часть правок поднимала Astra и опускала модели Anthropic, а некоторые цифры потом вернулись к исходным значениям. Это установил Fortune, сравнив архивные снимки страницы.

С самой публикацией тоже вышла путаница. Пост собирались выложить в 14:00 по восточному времени и действительно опубликовали вскоре после этого, но затем сняли. Ссылка в твите OpenAI в 15:32 отдавала ошибку. В 15:50 Сэм Альтман выложил её у себя с припиской: «С выкладкой поста вышла небольшая заминка, но он правда отличный». У многих комментаторов и у редакции Fortune страница по-прежнему не открывалась, нормально она загрузилась примерно через час. Причину паузы OpenAI объясняла по-разному: сначала говорила об ошибке в системе управления контентом, потом о сбое интернета, а в итоге сослалась на причины, которые раскрыть не может. По словам компании, к цифрам бенчмарков они отношения не имеют. Вернувшийся пост пришёл уже с другими метриками.

Что менялось в таблицах

Первый архивный снимок страницы сделан в 14:23, пятый в 15:11, примерно за десять минут до твита. В шестом снимке, от 17:20, когда пост наконец увидели все, изменились сразу пять показателей. Вот что издание насчитало по всем версиям, включая текущую:

• уровень галлюцинаций Astra: 4,2% → 2% → снова 4,2%;
• уровень галлюцинаций GPT-5.6 Sol: 12,2% → 9,4% → снова 12,2%;
• FrontierMath Tier 4 (v2), Anthropic Fable 5.1: 87,8% → 78% (снимок 17:17) → 83%;
• FrontierMath Tier 4 (v2), GPT-5.6 Sol: 83% → 80,5% → 83%;
• внутренняя версия ExploitBench, GPT-5.6 Sol: 5,5% → 11,5%;
• кодинг, Astra: 57,7% → 57,9%;
• HealthBench Professional, Claude Fable 5.1: 56,6% → 58,1%;
• HealthBench Professional, Opus 5: 54,5% → 56,4%;
• ARC-AGI-3, Astra: 98,6% в черновике под эмбарго → 99,99% в живом блоге.

Сильнее всего на впечатление влияла математика: её OpenAI выносит в первый абзац анонса. Результат самой Astra на FrontierMath Tier 4 (v2) во всех снимках стоял на 97,6%. Двигались соседи по таблице. В первой версии Astra опережала Fable 5.1 на 9,8 пункта, на пике правок разрыв вырос до 19,6 пункта, сейчас он составляет 14,6.

Не все правки шли в пользу Astra: на HealthBench Professional обе модели Anthropic в поздних версиях выросли. Результаты чужих моделей OpenAI обычно берёт из опубликованных лидербордов и сама на них оценки не гоняет, отмечает Fortune. Про Sol на ExploitBench в OpenAI сказали, что думают вернуть 5,5%: 11,5% получены на уровне рассуждений, которого у Sol нет в коммерческом доступе.

Сдвиг цифр начался ещё до 14:00. Черновик, разосланный Fortune и другим изданиям, давал Astra на ARC-AGI-3 98,6%. «Мы всегда проверяем оценки перед публикацией, так что поправки между черновиком и финальной версией - это нормально», - заявили тогда в компании.

Обвязка и «максимум при любом усилии»

В официальном ответе представитель OpenAI сказал, что компании очень важно правильно считать оценки. «Большинство оценок дают шум в пределах нескольких процентных пунктов в зависимости от конкретного чекпойнта, обвязки и прогона, использованных для отчёта», - добавил он. По его словам, правки в посте нужны были, чтобы цифры отражали лучшую оценку производительности доступной модели и пользователи могли честно сравнивать.

Насколько сильно влияют условия, видно по ARC-AGI-3. Обвязка здесь - набор инструментов, которыми модель пользуется при решении задач. Arc Prize Foundation, автор бенчмарка, в своей независимой проверке получила 99,9%, но с обвязкой Provider Adapter, в которую входят оптимизации от самого разработчика модели. Со стандартной обвязкой, одинаковой для всех моделей, у Astra 62,7%, прогон обошёлся примерно в 26 000 долларов. Разрыв составляет около 37 пунктов, хотя и 62,7% выше, чем у любой другой публично доступной модели. «На оценки влияют такие вещи, как обвязка, уровень рассуждений и другие факторы», - сказали в OpenAI.

Оговорки в посте есть. Под таблицей стоит дисклеймер «Evaluation scores are the maximum at any effort»: в таблице указан лучший результат на любом уровне усилия. У каждой метрики есть сноски. Цифры в таблице запуска OpenAI считала сама, и в ChatGPT, которым пользуется большинство, модель может вести себя немного иначе. Метрики считают разные исследовательские команды, а публикует их центральная команда.

Бенчмаксинг или уточнение?

Анка Ройел и Майк Харди из Stanford Intelligent Systems Laboratory и Stanford Trustworthy AI Lab допускают, что здесь есть и «бенчмаксинг»: оценки перезапускают в разных условиях, пока не получится максимальный балл. Такое практикует не только OpenAI. «Это можно сделать в очень сжатые сроки, и для маркетинга так лучше», - говорят они. Возможно, именно повторными прогонами объясняется рост Astra в кодинге с 57,7% до 57,9%. Ещё исследователи указывают, что системная карточка GPT-6 Astra, где должна быть техническая информация о методике, объясняет её не всегда. О внутреннем бенчмарке галлюцинаций там, по их словам, «почти никаких деталей», и «нет даже числа тестовых заданий».

В 2025 году Meta отрицала сообщения о том, что завысила результаты Llama 4, опубликовав цифры внутренней версии модели вместо публичной. Позже Ян Лекун, бывший главный научный сотрудник Meta по ИИ, признал, что результаты «подкрутили».

Винсент Сан Чен, который руководит исследованиями бенчмарков и оценок в Snorkel AI, считает, что движение цифр в последние часы перед запуском - обычное дело. «Результат бенчмарка отражает конкретную схему измерения: чекпойнт модели, конфигурацию, включая то, сколько времени и вычислений ей дают, обвязку, настройки оценки и проверки. Всё это обычно ещё меняется в последние дни перед запуском», - объяснил он. Чен хотел бы, чтобы в индустрии появилась норма: если компания пересматривает цифры бенчмарка, она указывает, что именно изменилось в условиях оценки, чтобы исследователи могли понять новые результаты.