Токены рассуждений Luna 6 в Codex зависят от способа входа

Авторы открытого эксперимента 6 октября показали, что Luna 6 в Codex сообщает о разном объёме рассуждений в зависимости от способа входа. Модель, промпт и уровень Medium совпадали, но через API-ключ сервер в среднем отчитывался о 96,30 токена рассуждений на ответ, а при входе через ChatGPT Pro о 3,025. Разница примерно в 32 раза.
Код, ответы и замеры лежат в репозитории на Github. Авторы выложили всё, чтобы сравнение могли повторить другие, и прямо пишут, что причину расхождения пока не знают.
Как устроено сравнение
Каждый ответ начинается с новой сессии Codex. Оба варианта идут через один и тот же клиент, с одинаковыми запрошенной моделью и уровнем рассуждений. Между клиентом и сервером стоит локальный прокси. Он проверяет, что в каждой паре модель получает один и тот же вход байт в байт, а ответы сервера пропускает без изменений.
Различаются два параметра: авторизация и адрес сервиса, куда уходит запрос. Маршруты расходятся и по деньгам: согласно документации OpenAI, при входе с API-ключом Codex считает по стандартным ценам API, а не списывает кредиты, включённые в план ChatGPT. Хранение данных тоже настраивается по-разному: при входе через ChatGPT действуют правила рабочего пространства, при входе с ключом действуют настройки организации в API.
Авторы записывают ответы сервера и счётчики использования, а затем сверяют их с собственными записями Codex. Неверные ответы из набора не убирают.
Где разрыв заметнее всего
Всего собрано 960 завершённых ответов на две задачи. В первой нужно выбрать проекты в пределах бюджета, во второй разобраться, почему книжный магазин рассылает письма дважды. Проверяли Luna 6 и Sol 6.1 на уровнях Low, Medium и High, по 40 ответов на каждое сочетание задачи, модели, уровня и способа входа. Сначала прошли 480 ответов, потом ещё 480 в отдельной, заранее зафиксированной серии, которую анализировали отдельно.
Явнее всего разница видна на задаче про книжный магазин. Ниже средние токены рассуждений на ответ, сначала через API-ключ, потом через вход ChatGPT Pro:
- Luna 6, Low: 68,550 против 0,000;
- Luna 6, Medium: 96,300 против 3,025;
- Luna 6, High: 148,525 против 85,200;
- Sol 6.1, High: 216,675 против 138,700.
Все четыре разницы прошли поправку на множественные сравнения и в исходном исследовании, и в повторной серии. На уровне High разрыв сжимается: у Luna 6 примерно в 1,7 раза, у Sol 6.1 примерно в 1,6 раза. На Low подписка не показала ни одного токена рассуждений.
На точность лишние токены не повлияли. Все 480 наборов решений по книжному магазину оказались верными при обоих способах входа.
С задачей про проекты картина менее однозначная. Luna 6 на Low по всему набору решила её верно 35 раз из 40 через API и 18 из 40 по подписке. Эта разница прошла заранее заложенную консервативную поправку (p = 0,0083), но авторы называют её предварительной. В одной только новой серии счёт был 19 из 20 против 12 из 20, и поправку он уже не прошёл (p = 0,371).
Чего замер не показывает
Цифры описывают то, о каком расходе отчитывается сервер. Реальный внутренний бюджет рассуждений модели по ним не виден. Исследование построено на двух фиксированных промптах, одном API-ключе и одном аккаунте Pro. В повторной серии маршрут через подписку дважды упал из-за нехватки мощностей. Оба сбоя авторы сохранили, продолжения вручную задокументировали, а исходный график довели до конца. Статистика выше посчитана только по завершённым ответам.
Похожие наблюдения есть и у других. В одном из issue в репозитории Codex сравнивают Astra при корпоративном входе и через публичный API. Авторы собрали также отчёт о Luna, баги с настройкой уровня рассуждений и исследования с другими результатами, но ни один из них причину не устанавливает. В сентябре GPT-6 Astra на части аккаунтов ChatGPT отвечала примерно на 25% короче и по стилю напоминала gpt-5.6-luna, хотя сервер сообщал gpt-6-astra.
Проверить опубликованные цифры можно локально на Python 3.12 или новее, без обращений к моделям: команды python3 -m experiment verify и python3 -m experiment analyze пересчитают результаты, а отчёт появится в output/reports/followup/report.md. Больше всего авторам нужны независимые прогоны на других аккаунтах, тарифах и в другие даты, в том числе те, где разницы не окажется.
Дальше
OpenAI ускорила GPT-6 и дала API водяные знаки textGrain
«Примерно на 50% быстрее»: так в ChatGPT теперь отвечают GPT-6 Astra и GPT-6.1 Sol, и с этого OpenAI начинает 28-дневное обещание ежедневных улучшений для пользователей Codex и Work.
Читайте также
- GPT-6 Astra на части аккаунтов похожа на gpt-5.6-luna
- Подписку ChatGPT Plus и Pro пустили в сторонние приложения
- Codex помог починить видео на Radeon 2007 года в Linux
- Через задачу на GitHub Depi добралась до npm-пакета Codex
- Claude, GPT и Gemini всегда ставят Sentry и Playwright
- OpenAI покупает Pierre, чьи Trees и Diffs уже стоят в Codex
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

