Замер ponytail: −10,3% к счёту вместо обещанных −20%

JetBrains прогнал 80 парных задач на скилле ponytail для Claude Code, третьем инструменте в серии проверок надстроек, экономящих токены. Заявлено −54% кода, −22% токенов, −20% стоимости и −27% времени. Медианный замер дал −15% кода, −10,3% стоимости (p=0,004) и −11% времени.
Тестировали на Claude Code 2.1.201 с моделью claude-sonnet-5 на среднем уровне рассуждений, бенчмарк SkillsBench. Экономия собирается там, где агент переусложняет: на крупных сборках код упал на 31%, на изначально коротких задачах медиана не сдвинулась.
Если просто положить SKILL.md в папку скиллов, модель не вызвала его ни разу за 10 сессий. Все числа сняты в ветке, где набор правил внедряется хуком SessionStart.
По качеству 65 задач получили одинаковый балл, 9 стали хуже, 6 лучше. Вся программа оценки стоила $246,09.
Дальше
Плагин для Claude Code не даёт писать код за ученика
«Проведи меня через сборку воркера, но несущую реализацию и рассуждения оставь мне». Так выглядит запрос к Learning Mode, навыку для Claude Code: он ставит одну цель и ведёт ученика циклом предсказание, попытка, повтор.
Читайте также
- Проверка rtk: обещали −60–90% токенов, вышло +7,6% к счёту
- ponytail срезает до 94% кода в сессиях Claude Code
- Счёт срезала только смена модели, а не сжатие контекста
- Доля решённых задач падает до 0,5% к концу сессии
- Claude угадывает белки, о которых никто не писал
- Haiku 5.5 заметила утечку, которую пропустил GPT-6.1 Sol
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

