Перейти к содержанию

Claude Code

Промах кэша на Opus 5.5 стоит до 40 раз дороже попадания

4 мин чтения

Текст написан ИИ-моделью по источникам, на которые ведут ссылки, и сверен с ними второй моделью. Как мы работаем

Всё о теме: Claude Code: версии и изменения →

Автор блога Dgrcode в разборе от 13 октября посчитал, во что обходится промах кэша промптов в Claude Code. На Opus 5.5 повторная обработка всего контекста стоит до 40 раз дороже, чем чтение его из кэша. Кэш живёт час после последнего обращения, и по правилу автора после паузы контекст от примерно 600k токенов или простой от 8 часов выгоднее сжать через /compact, а в остальных случаях кэш держат тёплым через /loop.

В примере автора в сессию с контекстом 300k токенов уходит сообщение на 1k. Если кэш на месте, оно стоит 17k базовых входных токенов. При промахе выходит 602k, потому что весь контекст заново пишется в кэш по двойной цене. Чем больше накопленный контекст и короче новое сообщение, тем ближе разница к 40 разам.

Петля или сжатие

Схема автора проверяется сверху вниз, и срабатывает первое подходящее условие:

  • контекст меньше 100k: кэш можно просто отпустить;
  • контекст больше 600k: сжимать, сжатие и так скоро понадобится;
  • пауза до 2 часов: петля;
  • пауза от 16 часов: сжатие;
  • пауза 8-16 часов: сжатие при контексте больше 200k, иначе петля;
  • контекст меньше 300k: петля;
  • пауза от 4 часов: сжатие.

Паузу в 2-4 часа автор называет серой зоной. Если в сессии предстоит ещё долго работать, вероятно, лучше сжатие, а если до конца задачи осталась пара запросов, петля.

Во что обходится петля

Opus 5.5 берёт 4 доллара за миллион входных токенов и 0,20 доллара за чтение из кэша, в 20 раз меньше. Часовая запись в кэш стоит вдвое дороже обычного входа, отсюда и разница в 40 раз. Те же цены дают и документация Anthropic: 8 долларов за миллион токенов при записи на час. Каждое попадание продлевает кэш ещё на час и стоит всего 0,05 базовой цены. Поэтому при идеальной автоматизации час кэша обходится в 2x, два часа в 2,05x, три в 2,1x.

Сообщение вроде «подожди, я ещё над этим работаю» весит около 10 токенов, но пишет в кэш больше 100: вместе с ним уходят предыдущий ответ и служебные метки ролей. Команда /loop отправляет его по расписанию, и примерно 40 итераций стоят как один промах. Интервал «каждые 50 минут» в синтаксисе cron просто не записать, поэтому автор запускает петлю в :00 и :30. Тогда 40 итераций растягиваются на 20 часов.

Во что обходится сжатие

Инструкция на сжатие у Claude Code занимает около 2k токенов, а сам контекст при этом читается из кэша. Дороже всего обходится сводка: она идёт выходными токенами, а они на Opus 5.5 в пять раз дороже входных. Сводка обычно укладывается в 30k токенов, говорит автор, и стоит как 150k базовых. В примере с 300k сжатие вместе с первым сообщением после него обходится в 291k базовых токенов. Выходит примерно половина промаха и намного больше попадания.

Окупается сжатие на следующих сообщениях: каждое читает из кэша около 60k токенов вместо 300k и стоит примерно 5k вместо 17k. В эти 60k входят сводка и около 30k на системный промпт и инструменты, но вторая часть сильно зависит от сетапа. Свою раскладку можно посмотреть командой /context.

При этом у сжатия есть предел точности. Из 800k в 30k контекст ужимается больше чем в 26 раз. Исследования сжатия промптов, на которые ссылается автор, видят оптимум около 10-20 раз и падение качества около 25. Сам он оговаривается, что там сжимают сам промпт, а не пересказывают его, и считает риск потерять нужный контекст доводом в пользу петли.

Пять минут в API

Вся арифметика посчитана для часового кэша Claude Code, а в других обвязках срок может быть другим. В API, по документации, кэш по умолчанию живёт 5 минут и бесплатно продлевается при каждом использовании. Запись на 5 минут стоит на Opus 5.5 5 долларов за миллион токенов. Скрипт на API со сроком по умолчанию промахнётся уже после 5 минут тишины. Попал ли запрос в кэш, видно по полям cache_creation_input_tokens и cache_read_input_tokens в ответе.

Цену возврата к остывшей сессии учитывает и сам Claude Code: в версии 2.1.304 он начал предупреждать, если продолжение заброшенного диалога на Pro или Max съест заметную долю пятичасового лимита, и предлагать начать новый.

Пока автор писал разбор, Claude Code сжал его контекст сам и сообщил, что сделал это во время простоя, до истечения кэша. В контексте было 220,3k токенов, отошёл автор чуть больше чем на час, а по его же схеме при паузе до двух часов выгоднее петля.

AI-индустрияРелизы моделей

Decider от Perplexity гоняет модель на Mac без счёта за API

Выгрузки клиентов, заметки со встреч и логи с токенами в облачный API не отправишь, и Decider for Mac от Perplexity размечает их прямо на ноутбуке. Модель на 4B работает на Mac с 16 ГБ памяти, без ключа API и без счёта. Разметку чувствительных файлов делаете локально или в облаке?

Пока никто не написал. Будьте первым.

Присоединяйтесь к разговору

Войдите, чтобы оставить комментарий. Он появится после модерации.