Инструмент Headroom, обещающий экономию токенов, прогнали через контролируемый A/B-тест на 25 задачах бенчмарка SR SWE bench в Harbor, причём задачи подбирали в пользу Headroom. Режим token срезал входные токены с 215 млн до 132 млн.
Средняя экономия составила $0,37 на задачу, но дороже вышли 13 задач из 25, а медиана оказалась отрицательной. Повторный прогон одной и той же конфигурации сам по себе дал видимые $0,73 на задачу, так что эффект лежит внутри шума.
Дело в кэше. На базовой ветке около 98% промпт-токенов приходили из кэша по $0,30 за миллион против $3,00 за свежий ввод. Переписывание истории сбило кэш 123 раза против 14 и выбило 6 062 098 токенов на полный тариф, $16,37 упущенной скидки против $15,41 засчитанной экономии.