GPT-6 научили чаще попадать в кэш промптов

Закэшированные входные токены в GPT-6 обходятся до 90% дешевле, и попадать в кэш запросы теперь должны чаще. 22 сентября OpenAI рассказала, что переделала кэширование промптов. Кроме более высокой доли попаданий, в анонсе есть новая диагностика, явные точки кэширования (breakpoints) и настройки, которые снижают задержку и расходы.

Кэш срабатывает, когда запрос начинается с того же текста, что и прошлый. Тогда модель берёт это начало готовым и не обрабатывает его заново. По данным Newsroom America, ко всему этому добавили ещё и дашборд кэширования.

На сколько выросла доля попаданий, OpenAI в анонсе не пишет, так что свою экономию придётся считать на собственных запросах.