Context Engineering Kit: /reflect и спецификации arc42

Команда NeoLabHQ собрала в Context Engineering Kit набор плагинов для Claude Code. Каждый плагин по-своему отвечает на один вопрос: сколько лишних токенов вы готовы потратить, чтобы агент реже ошибался. Ответ авторы свели в таблицу. Самая дешёвая команда, /reflect, добавляет к задаче 1-3 тысячи токенов. Связка с наибольшей точностью в таблице обходится в 5-35 раз дороже обычного запроса и требует, чтобы спецификацию проверил человек.

Согласно описанию проекта на GitHub в версии на 4 сентября, в маркетплейс вошли промпты, которыми разработчики компании давно пользуются каждый день. К ним добавлены плагины, построенные на опубликованных исследованиях: Self-Refine, Reflexion, LLM-as-a-Judge, Tree of Thoughts и других. Навыки оформлены по спецификации agentskills.io. Кроме Claude Code, набор ставится в OpenCode, Cursor, Codex, Gemini CLI и Antigravity.

Точность против токенов

В README проекта есть таблица вероятностей. В ней указано, с какой вероятностью агент выдаст полностью точный результат без галлюцинаций, в зависимости от того, сколько файлов затрагивает правка. Цифры авторы взяли из собственной практики: «больше года реальной разработки на продакшен-проектах».

• Одиночный промпт: 60-80% на правках в 1-3 файла, 30-50% на 4-10 файлах, 5-30% на 10-20 и 1-20% на 20 файлах и больше. Дополнительных токенов нет.
• /reflect: 68-91%, 49-71%, 13-41% и 1-30% за 1-3 тысячи токенов сверху.
• /reflect вместе с /memorize: 79-87%, 60-79%, 34-42% и 5-30% за 2-5 тысяч токенов.
• /do-and-judge: 90%, 83%, 60% и 30% при расходе в 1,5-3 раза выше обычного.
• /do-in-steps: 92%, 90%, 71% и 50% при расходе в 3-5 раз выше.
• /plan-task и /implement-task: 94%, 93%, 85% и 70% при расходе в 5-20 раз выше.
• Те же команды с /brainstorm в начале: 95%, 95%, 90% и 80%, тоже 5-20x.
• /plan-task, ревью спецификации человеком и /implement-task: 99% на первых трёх диапазонах и 95% на 20+ файлах при расходе в 5-35 раз выше.

Разрыв растёт вместе с размером правки. На 20+ файлах одиночный промпт даёт не больше 20% точных результатов, а связка с ревью человека даёт 95%. На 1-3 файлах разница меньше: от 60-80% до 99%. Причину авторы объясняют так: с ростом контекста качество LLM падает экспоненциально. Такую деградацию на длинном контексте фиксировали и внешние тесты. /do-and-judge, по описанию авторов, борется с этим эффектом с помощью отдельного субагента-судьи, а /do-in-steps делает то же самое отдельно для каждой группы файлов.

Что ставится и где

Команда /plugin marketplace add NeoLabHQ/context-engineering-kit только делает плагины доступными для установки и ничего не загружает в контекст. Плагины ставятся по одному, например /plugin install reflexion@NeoLabHQ/context-engineering-kit, и каждый подгружает только свои агенты, команды и навыки. Всего плагинов тринадцать. Среди них review с шестью агентами-ревьюерами (bug-hunter, security-auditor, test-coverage-reviewer и другие), который авторы называют открытой и более качественной версией CodeRabbit. Ещё есть git, tdd, ddd с 15 правилами по Clean Architecture и SOLID, kaizen с разбором первопричин и tech-stack, который сам подмешивает правила по TypeScript, когда агент читает или пишет файлы .ts.

Вне Claude Code выбор плагинов пропадает. Gemini CLI ставит все навыки и агенты одним пакетом, Antigravity CLI тоже, и лишнее после установки предлагается удалить руками. Для Cursor, Codex и OpenCode есть npx skills add, где навыки можно выбрать, но субагенты этот способ не поддерживает, и авторы предупреждают, что полного набора возможностей так не получить. В списке релизов видно, что работа над этим идёт: версия 3.8.1 добавила поддержку субагентов для Gemini и Antigravity, а 3.10.0 задала список инструментов, чтобы обойти баг Antigravity.

Отдельная оговорка касается плагина FPF. Он реализует First Principles Framework Анатолия Левенчука: агент генерирует 3-5 конкурирующих гипотез, проверяет их логикой и фактами, а выбор оставляет человеку. Спецификация фреймворка занимает около 600 тысяч токенов, поэтому её загружают в отдельного субагента на модели Sonnet[1m]. Авторы предупреждают, что такой агент быстро съедает лимит токенов.

Что делает /reflect

Плагин reflexion стоит в таблице на нижней ступени по расходу. После того как Claude выполнил задачу, /reflect заставляет его разобрать собственный результат. Очевидные проблемы агент исправляет сразу, а по мелким даёт рекомендации, на которые вы отвечаете сами. /memorize извлекает из такого разбора стратегии исправления и записывает их в CLAUDE.md, чтобы те же ошибки не повторялись в следующих задачах. Если в промпте есть слово «reflect», хук запускает /reflect автоматически. Для хука нужен bun, для самой команды нет. Третья команда, /critique, устраивает разбор силами нескольких специализированных судей, которые спорят и ищут консенсус.

Цифры эффекта плагин берёт из статей, на которых построен. Self-Refine и Reflexion, по словам авторов, повышали качество ответов на 8-21% по автоматическим метрикам и оценкам людей на семи задачах, включая диалоги, код и математику, если сравнивать с одношаговым ответом модели. Работа Agentic Context Engineering, на которой основан /memorize, давала прирост 10,6% в агентных приложениях.

Как sdd превращает промпт в код

Последние строки таблицы относятся к плагину Spec-Driven Development (sdd). Авторы описывают его как «разработку как компиляцию»: на входе спецификация задачи, на выходе работающий код. Основных команд три.

/add-task создаёт в .specs/tasks/draft/ файл задачи с исходным промптом. /plan-task прогоняет его через цепочку агентов. Researcher изучает технологии и зависимости и оставляет файл навыка, который можно переиспользовать. Code-explorer разбирает кодовую базу и её паттерны. Business-analyst пишет раздел критериев приёмки: чеклист, рубрику оценки, стратегию тестирования и определение готовности.

Затем software-architect проектирует решение. Tech-lead делит задачу на шаги, по отдельному файлу на каждый, расписывает зависимости, группирует шаги в независимо проверяемые фазы и назначает каждой фазе модель-ревьюера. Шаблон спецификации основан на arc42, стандарте документирования архитектуры; из него убрали части, которые, по мнению авторов, не улучшают реализацию или даже вредят ей. Готовая задача переезжает в .specs/tasks/todo/.

Перед /implement-task плагин просит перезапустить сессию Claude Code, чтобы начать с чистого контекста. Дальше главный агент работает только оркестратором. Агент developer реализует ровно один шаг по его файлу, и после него проект должен собираться, а тесты проходить. В конце каждой фазы code-reviewer сверяет сделанное с критериями приёмки этой фазы, а также проверяет качество кода, покрытие тестами и ищет лишнюю работу и дублирование по методу Muda. Эти проверки построены по схеме LLM-as-Judge: одна модель оценивает работу другой по заранее заданной рубрике. За основу изоляции взят паттерн MAKER из статьи Solving a Million-Step LLM Task with Zero Errors: каждый агент запускается с чистого состояния, а память хранится в файлах.

В описании плагина сказано, что на реальных проектах команды он в 100% случаев выдал работающий код, соответствующий промпту. В заметке к версии 2.0.0 стояла другая цифра: 99%. Простая задача, по словам авторов, занимает около 30 минут, сложная может идти несколько дней. В более поздних релизах появились автоматический выбор модели для оркестраторов, защита от бесконечных итераций на мелких придирках и упрощённый процесс для длинных задач.

По умолчанию sdd ведёт задачу от одного промпта до конца и не задаёт уточняющих вопросов, потому что, как пишут авторы, «время разработчика ценнее времени модели». Вмешаться можно на нескольких этапах. В спецификации оставляют комментарии через // и перезапускают /plan-task с флагом --refine. Флаг --human-in-the-loop добавляет проверку человеком после каждой фазы. Крупные задачи советуют дробить и связывать через секцию depends_on во frontmatter файла задачи. Как формулируют сами авторы, плагин всегда выдаёт рабочий результат, «но без обратной связи от человека качество будет неоптимальным».