Перейти к содержанию

OpenAI

Токены рассуждений Luna 6 в Codex зависят от способа входа

3 мин чтения

Текст написан ИИ-моделью по источникам, на которые ведут ссылки, и сверен с ними второй моделью. Как мы работаем

Всё о теме: OpenAI: модели и продукты →
Изображение: github.com

Авторы открытого эксперимента 6 октября показали, что Luna 6 в Codex сообщает о разном объёме рассуждений в зависимости от способа входа. Модель, промпт и уровень Medium совпадали, но через API-ключ сервер в среднем отчитывался о 96,30 токена рассуждений на ответ, а при входе через ChatGPT Pro о 3,025. Разница примерно в 32 раза.

Код, ответы и замеры лежат в репозитории на Github. Авторы выложили всё, чтобы сравнение могли повторить другие, и прямо пишут, что причину расхождения пока не знают.

Как устроено сравнение

Каждый ответ начинается с новой сессии Codex. Оба варианта идут через один и тот же клиент, с одинаковыми запрошенной моделью и уровнем рассуждений. Между клиентом и сервером стоит локальный прокси. Он проверяет, что в каждой паре модель получает один и тот же вход байт в байт, а ответы сервера пропускает без изменений.

Различаются два параметра: авторизация и адрес сервиса, куда уходит запрос. Маршруты расходятся и по деньгам: согласно документации OpenAI, при входе с API-ключом Codex считает по стандартным ценам API, а не списывает кредиты, включённые в план ChatGPT. Хранение данных тоже настраивается по-разному: при входе через ChatGPT действуют правила рабочего пространства, при входе с ключом действуют настройки организации в API.

Авторы записывают ответы сервера и счётчики использования, а затем сверяют их с собственными записями Codex. Неверные ответы из набора не убирают.

Где разрыв заметнее всего

Всего собрано 960 завершённых ответов на две задачи. В первой нужно выбрать проекты в пределах бюджета, во второй разобраться, почему книжный магазин рассылает письма дважды. Проверяли Luna 6 и Sol 6.1 на уровнях Low, Medium и High, по 40 ответов на каждое сочетание задачи, модели, уровня и способа входа. Сначала прошли 480 ответов, потом ещё 480 в отдельной, заранее зафиксированной серии, которую анализировали отдельно.

Явнее всего разница видна на задаче про книжный магазин. Ниже средние токены рассуждений на ответ, сначала через API-ключ, потом через вход ChatGPT Pro:

  • Luna 6, Low: 68,550 против 0,000;
  • Luna 6, Medium: 96,300 против 3,025;
  • Luna 6, High: 148,525 против 85,200;
  • Sol 6.1, High: 216,675 против 138,700.

Все четыре разницы прошли поправку на множественные сравнения и в исходном исследовании, и в повторной серии. На уровне High разрыв сжимается: у Luna 6 примерно в 1,7 раза, у Sol 6.1 примерно в 1,6 раза. На Low подписка не показала ни одного токена рассуждений.

На точность лишние токены не повлияли. Все 480 наборов решений по книжному магазину оказались верными при обоих способах входа.

С задачей про проекты картина менее однозначная. Luna 6 на Low по всему набору решила её верно 35 раз из 40 через API и 18 из 40 по подписке. Эта разница прошла заранее заложенную консервативную поправку (p = 0,0083), но авторы называют её предварительной. В одной только новой серии счёт был 19 из 20 против 12 из 20, и поправку он уже не прошёл (p = 0,371).

Чего замер не показывает

Цифры описывают то, о каком расходе отчитывается сервер. Реальный внутренний бюджет рассуждений модели по ним не виден. Исследование построено на двух фиксированных промптах, одном API-ключе и одном аккаунте Pro. В повторной серии маршрут через подписку дважды упал из-за нехватки мощностей. Оба сбоя авторы сохранили, продолжения вручную задокументировали, а исходный график довели до конца. Статистика выше посчитана только по завершённым ответам.

Похожие наблюдения есть и у других. В одном из issue в репозитории Codex сравнивают Astra при корпоративном входе и через публичный API. Авторы собрали также отчёт о Luna, баги с настройкой уровня рассуждений и исследования с другими результатами, но ни один из них причину не устанавливает. В сентябре GPT-6 Astra на части аккаунтов ChatGPT отвечала примерно на 25% короче и по стилю напоминала gpt-5.6-luna, хотя сервер сообщал gpt-6-astra.

Проверить опубликованные цифры можно локально на Python 3.12 или новее, без обращений к моделям: команды python3 -m experiment verify и python3 -m experiment analyze пересчитают результаты, а отчёт появится в output/reports/followup/report.md. Больше всего авторам нужны независимые прогоны на других аккаунтах, тарифах и в другие даты, в том числе те, где разницы не окажется.

Пока никто не написал. Будьте первым.

Присоединяйтесь к разговору

Войдите, чтобы оставить комментарий. Он появится после модерации.