Экономия кода вместо 54% составила 15%

JetBrains прогнала навык ponytail v4.8.4 для Claude Code через 80 парных задач SkillsBench на модели claude-sonnet-5. Авторы навыка заявляют сокращение кода на 54%, стоимости на 20% и времени на 27%; измерено 15%, 10,3% и 11%.

Экономия по деньгам оказалась статистически устойчивой (p=0,004): дешевле на 46 задачах, дороже на 34. Сокращение кода концентрируется на крупных сборках, там оно доходит до 31%, а на изначально компактных задачах медианный эффект нулевой. Разницы в качестве не нашли: 65 задач с одинаковой оценкой, 9 хуже, 6 лучше.

В десяти сессиях Claude Code ни разу не включил навык сам, поэтому все замеры сделаны с принудительной вставкой правил в контекст. В первой части серии навык caveman показал 8,5% при заявленных 65%, во второй rtk дал удорожание на 7,6%.