Промах кэша на Opus 5.5 стоит до 40 раз дороже попадания

Автор блога Dgrcode в разборе от 13 октября посчитал, во что обходится промах кэша промптов в Claude Code. На Opus 5.5 повторная обработка всего контекста стоит до 40 раз дороже, чем чтение его из кэша. Кэш живёт час после последнего обращения, и по правилу автора после паузы контекст от примерно 600k токенов или простой от 8 часов выгоднее сжать через /compact, а в остальных случаях кэш держат тёплым через /loop.
В примере автора в сессию с контекстом 300k токенов уходит сообщение на 1k. Если кэш на месте, оно стоит 17k базовых входных токенов. При промахе выходит 602k, потому что весь контекст заново пишется в кэш по двойной цене. Чем больше накопленный контекст и короче новое сообщение, тем ближе разница к 40 разам.
Петля или сжатие
Схема автора проверяется сверху вниз, и срабатывает первое подходящее условие:
- контекст меньше 100k: кэш можно просто отпустить;
- контекст больше 600k: сжимать, сжатие и так скоро понадобится;
- пауза до 2 часов: петля;
- пауза от 16 часов: сжатие;
- пауза 8-16 часов: сжатие при контексте больше 200k, иначе петля;
- контекст меньше 300k: петля;
- пауза от 4 часов: сжатие.
Паузу в 2-4 часа автор называет серой зоной. Если в сессии предстоит ещё долго работать, вероятно, лучше сжатие, а если до конца задачи осталась пара запросов, петля.
Во что обходится петля
Opus 5.5 берёт 4 доллара за миллион входных токенов и 0,20 доллара за чтение из кэша, в 20 раз меньше. Часовая запись в кэш стоит вдвое дороже обычного входа, отсюда и разница в 40 раз. Те же цены дают и документация Anthropic: 8 долларов за миллион токенов при записи на час. Каждое попадание продлевает кэш ещё на час и стоит всего 0,05 базовой цены. Поэтому при идеальной автоматизации час кэша обходится в 2x, два часа в 2,05x, три в 2,1x.
Сообщение вроде «подожди, я ещё над этим работаю» весит около 10 токенов, но пишет в кэш больше 100: вместе с ним уходят предыдущий ответ и служебные метки ролей. Команда /loop отправляет его по расписанию, и примерно 40 итераций стоят как один промах. Интервал «каждые 50 минут» в синтаксисе cron просто не записать, поэтому автор запускает петлю в :00 и :30. Тогда 40 итераций растягиваются на 20 часов.
Во что обходится сжатие
Инструкция на сжатие у Claude Code занимает около 2k токенов, а сам контекст при этом читается из кэша. Дороже всего обходится сводка: она идёт выходными токенами, а они на Opus 5.5 в пять раз дороже входных. Сводка обычно укладывается в 30k токенов, говорит автор, и стоит как 150k базовых. В примере с 300k сжатие вместе с первым сообщением после него обходится в 291k базовых токенов. Выходит примерно половина промаха и намного больше попадания.
Окупается сжатие на следующих сообщениях: каждое читает из кэша около 60k токенов вместо 300k и стоит примерно 5k вместо 17k. В эти 60k входят сводка и около 30k на системный промпт и инструменты, но вторая часть сильно зависит от сетапа. Свою раскладку можно посмотреть командой /context.
При этом у сжатия есть предел точности. Из 800k в 30k контекст ужимается больше чем в 26 раз. Исследования сжатия промптов, на которые ссылается автор, видят оптимум около 10-20 раз и падение качества около 25. Сам он оговаривается, что там сжимают сам промпт, а не пересказывают его, и считает риск потерять нужный контекст доводом в пользу петли.
Пять минут в API
Вся арифметика посчитана для часового кэша Claude Code, а в других обвязках срок может быть другим. В API, по документации, кэш по умолчанию живёт 5 минут и бесплатно продлевается при каждом использовании. Запись на 5 минут стоит на Opus 5.5 5 долларов за миллион токенов. Скрипт на API со сроком по умолчанию промахнётся уже после 5 минут тишины. Попал ли запрос в кэш, видно по полям cache_creation_input_tokens и cache_read_input_tokens в ответе.
Цену возврата к остывшей сессии учитывает и сам Claude Code: в версии 2.1.304 он начал предупреждать, если продолжение заброшенного диалога на Pro или Max съест заметную долю пятичасового лимита, и предлагать начать новый.
Пока автор писал разбор, Claude Code сжал его контекст сам и сообщил, что сделал это во время простоя, до истечения кэша. В контексте было 220,3k токенов, отошёл автор чуть больше чем на час, а по его же схеме при паузе до двух часов выгоднее петля.
Дальше
Decider от Perplexity гоняет модель на Mac без счёта за API
Выгрузки клиентов, заметки со встреч и логи с токенами в облачный API не отправишь, и Decider for Mac от Perplexity размечает их прямо на ноутбуке. Модель на 4B работает на Mac с 16 ГБ памяти, без ключа API и без счёта. Разметку чувствительных файлов делаете локально или в облаке?
Читайте также
- Из промпта Claude Code вырезали больше 80% текста
- context-tax считает, во что обходится контекст Claude Code
- API Claude перестал гонять всю переписку на каждом ходу
- Плагин Chisle сжимает для Claude Code и вывод команд
- Неделя Ultra в Claude Code: 1 200-3 700 долларов по API
- Статусы фоновых субагентов Claude Code подешевели на 99%
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

