Перейти к содержанию

OpenAI

Записи в кэш съели 85% счёта Codex на Bedrock

3 мин чтения

Текст написан ИИ-моделью по источникам, на которые ведут ссылки, и сверен с ними второй моделью. Как мы работаем

Всё о теме: OpenAI: модели и продукты →
Изображение: github.com

Пользователь Codex CLI подсчитал, что около 85% его расходов на GPT-5.6 Sol в Amazon Bedrock ушло на запись в кэш промпта: 1 182,09 доллара из 1 386,46 за четыре дня. Об этом он написал в репорте на GitHub от 21 августа. Причину он видит в нативном провайдере amazon-bedrock в Codex: тот не умеет включать явный режим кэширования, хотя у GPT-5.6 такой режим есть.

Цифры относятся к 5-8 августа: модель openai.gpt-5.6-sol, эндпоинт Bedrock Mantle Responses API в us-east-1, Codex CLI 0.147.0. За эти дни набралось 3 656 запросов и 171,94 миллиона токенов записи в кэш. Автор считал по объёмам потребления из Cost Explorer и прайсу Bedrock, так что это оценка, а не суммы из счёта AWS.

Локальная сессия Codex показала то же самое в миниатюре: 76 запросов к Sol, 6,709 миллиона токенов в cache_write_input_tokens, в среднем около 88 тысяч на запрос, и ноль в cached_input_tokens. Клиентских ошибок в соответствующих метриках CloudWatch при этом не было.

Кэширование промпта работает так: провайдер сохраняет уже обработанный префикс запроса, и следующие запросы с тем же началом читают его со скидкой. По словам Amazon, которая открыла GPT-5.6 Sol, Terra и Luna в Bedrock 9 июля, скидка на кэшированный вход составляет 90%. Но запись в кэш стоит дороже обычного входа. В более раннем репорте цитируется руководство по миграции на GPT-5.6: «Записи в кэш стоят дороже обычного некэшированного ввода, поэтому более низкая доля попаданий может оказаться и медленнее, и дороже».

Неявный режим GPT-5.6, как объясняет автор того репорта, ставит точку кэширования рядом с последним сообщением пользователя или инструмента. Длинный стабильный префикс с меняющимся хвостом может тогда не попадать в кэш, даже если сам префикс не изменился. В явном режиме клиент сам помечает, где заканчивается стабильная часть.

Codex уже отправляет prompt_cache_key, привязанный к сессии. Но в типах запросов Responses для HTTP и WebSocket нет полей prompt_cache_options и prompt_cache_breakpoint. Через config.toml их тоже не добавить: встроенный провайдер Bedrock настраивает только транспорт и авторизацию, а тело запроса не трогает. Явный режим AWS при этом описывает как раз для агентных сценариев, где за длинными стабильными инструкциями и описаниями инструментов идёт меняющийся контент.

Насколько это меняет картину, видно по воспроизведению из того же раннего репорта. На Bedrock Mantle с префиксом около 9 тысяч токенов, где менялось только последнее сообщение пользователя, запросы без изменений давали 0% попаданий и каждый раз переписывали около 9 060 токенов. С prompt_cache_breakpoint в режиме explicit на последнем стабильном блоке попаданий стало 98,6%, а прогретые запросы писали в кэш всего 123-128 токенов. Продолжения внутри одной сессии и без того попадали в кэш примерно на 98%. Ломается переиспользование стартового префикса, когда независимые запросы расходятся на первом же сообщении пользователя.

Автор нового репорта просит сериализовать prompt_cache_options для провайдеров с поддержкой GPT-5.6, добавить типизированное поле prompt_cache_breakpoint в блоки входа, включать его только для подходящих провайдеров и моделей и ставить в конце стабильного префикса Codex. Ещё он просит показывать чтения и записи кэша в телеметрии каждого хода. Он оговаривается, что не каждая запись в кэш означает дефект: холодный старт, форки и компакция без записей не обходятся.

Репорт написан на 0.147.0. А в 0.148.0 каждый ход с gpt-5.6-sol падает с ошибкой invalid_parameter: клиент шлёт параметр prompt_cache_retention, который модель не принимает.

OpenAIOpenAI

Агентский цикл Codex можно встроить в своё приложение

«Самая интересная возможность не в том, чтобы воспроизвести приложение Codex с другим логотипом», пишет OpenAI. Открытую обвязку агента предлагают встраивать в существующие дашборды, с подтверждением человека перед действием.

Пока никто не написал. Будьте первым.

Присоединяйтесь к разговору

Войдите, чтобы оставить комментарий. Он появится после модерации.