Записи в кэш съели 85% счёта Codex на Bedrock

Пользователь Codex CLI подсчитал, что около 85% его расходов на GPT-5.6 Sol в Amazon Bedrock ушло на запись в кэш промпта: 1 182,09 доллара из 1 386,46 за четыре дня. Об этом он написал в репорте на GitHub от 21 августа. Причину он видит в нативном провайдере amazon-bedrock в Codex: тот не умеет включать явный режим кэширования, хотя у GPT-5.6 такой режим есть.
Цифры относятся к 5-8 августа: модель openai.gpt-5.6-sol, эндпоинт Bedrock Mantle Responses API в us-east-1, Codex CLI 0.147.0. За эти дни набралось 3 656 запросов и 171,94 миллиона токенов записи в кэш. Автор считал по объёмам потребления из Cost Explorer и прайсу Bedrock, так что это оценка, а не суммы из счёта AWS.
Локальная сессия Codex показала то же самое в миниатюре: 76 запросов к Sol, 6,709 миллиона токенов в cache_write_input_tokens, в среднем около 88 тысяч на запрос, и ноль в cached_input_tokens. Клиентских ошибок в соответствующих метриках CloudWatch при этом не было.
Кэширование промпта работает так: провайдер сохраняет уже обработанный префикс запроса, и следующие запросы с тем же началом читают его со скидкой. По словам Amazon, которая открыла GPT-5.6 Sol, Terra и Luna в Bedrock 9 июля, скидка на кэшированный вход составляет 90%. Но запись в кэш стоит дороже обычного входа. В более раннем репорте цитируется руководство по миграции на GPT-5.6: «Записи в кэш стоят дороже обычного некэшированного ввода, поэтому более низкая доля попаданий может оказаться и медленнее, и дороже».
Неявный режим GPT-5.6, как объясняет автор того репорта, ставит точку кэширования рядом с последним сообщением пользователя или инструмента. Длинный стабильный префикс с меняющимся хвостом может тогда не попадать в кэш, даже если сам префикс не изменился. В явном режиме клиент сам помечает, где заканчивается стабильная часть.
Codex уже отправляет prompt_cache_key, привязанный к сессии. Но в типах запросов Responses для HTTP и WebSocket нет полей prompt_cache_options и prompt_cache_breakpoint. Через config.toml их тоже не добавить: встроенный провайдер Bedrock настраивает только транспорт и авторизацию, а тело запроса не трогает. Явный режим AWS при этом описывает как раз для агентных сценариев, где за длинными стабильными инструкциями и описаниями инструментов идёт меняющийся контент.
Насколько это меняет картину, видно по воспроизведению из того же раннего репорта. На Bedrock Mantle с префиксом около 9 тысяч токенов, где менялось только последнее сообщение пользователя, запросы без изменений давали 0% попаданий и каждый раз переписывали около 9 060 токенов. С prompt_cache_breakpoint в режиме explicit на последнем стабильном блоке попаданий стало 98,6%, а прогретые запросы писали в кэш всего 123-128 токенов. Продолжения внутри одной сессии и без того попадали в кэш примерно на 98%. Ломается переиспользование стартового префикса, когда независимые запросы расходятся на первом же сообщении пользователя.
Автор нового репорта просит сериализовать prompt_cache_options для провайдеров с поддержкой GPT-5.6, добавить типизированное поле prompt_cache_breakpoint в блоки входа, включать его только для подходящих провайдеров и моделей и ставить в конце стабильного префикса Codex. Ещё он просит показывать чтения и записи кэша в телеметрии каждого хода. Он оговаривается, что не каждая запись в кэш означает дефект: холодный старт, форки и компакция без записей не обходятся.
Репорт написан на 0.147.0. А в 0.148.0 каждый ход с gpt-5.6-sol падает с ошибкой invalid_parameter: клиент шлёт параметр prompt_cache_retention, который модель не принимает.
Дальше
Агентский цикл Codex можно встроить в своё приложение
«Самая интересная возможность не в том, чтобы воспроизвести приложение Codex с другим логотипом», пишет OpenAI. Открытую обвязку агента предлагают встраивать в существующие дашборды, с подтверждением человека перед действием.
Читайте также
- Час ожидания в Codex стоит до 188 миллионов токенов
- Лишний параметр ломает связку Codex с gpt-5.6-sol
- ChatGPT и Codex с декабря тратят один общий лимит
- OpenAI удвоила лимиты Pro и отменила урезание плана за $200
- Codex научился тратить сброс лимита по просьбе в чате
- GPT-6.1 Sol разогнали в 8 раз, и за это просят доплату
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

