Проверка rtk: обещали −60–90% токенов, вышло +7,6% к счёту

JetBrains прогнал парный A/B тест add-on rtk («Rust Token Killer»), который через PreToolUse hook в Claude Code перехватывает shell-команды и отдаёт модели сжатый вывод. Заявленная экономия 60–90% токенов. Стенд: Claude Code 2.1.201, claude-sonnet-5, бенчмарк SkillsBench, 86 задач.

На низком уровне рассуждений rtk оказался медианно на 7,6% дороже за задачу (p=0,004), на высоком разница около нуля. Качество в обеих ветках совпало. Причина: hook видит около трети Bash-вызовов и меньше 20% символов вывода, а основную стоимость дают кэшированные перечитывания по цене в десять раз ниже.

Встроенная аналитика rtk при этом отчиталась о 96,2 миллиона сэкономленных токенов, считая за базу полный сырой вывод. Прошлая часть серии проверяла caveman skill: обещали −65%, замерили −8,5%.