Автор теста прогнал headroom на бенчмарке SR SWE bench в Harbor: 25 задач и три ветки, обычный Claude против двух режимов сжатия, token mode и cache mode. Задачи подбирались в пользу инструмента, оплата шла по API-тарифу Anthropic. Входные токены упали с 215 млн до 132 млн, на 39%, но по деньгам вышло $0,37 на задачу при отрицательной медиане и 13 подорожавших задачах из 25.
Причина в кэше. На базовой ветке около 98% входных токенов приходило из кэша по $0,30 за миллион против $3,00 за свежие. Переписывая историю, token mode сбил кэш 123 раза против 14 у cache mode и выбил 6 062 098 токенов на полный тариф. Потерянная скидка составила $16,37 против $15,41 сэкономленных.
Собственный счётчик headroom завысил экономию примерно в 1,9 раза. Доля решённых задач осталась ровной, 5 из 25 у token mode и по 4 у базы и cache mode.