Как команда Claude Code проверяет код от Claude

Команда Claude Code, у которой около 90% кода пишет и ревьюит сам Claude, 16 ноября рассказала в блоге Anthropic, как этот код проверяется: Claude сам запускает приложение целиком, а если проверка не проходит и после трёх кругов исправлений, останавливается и зовёт человека. Без таких проверок параллельно получается вести только одного-двух Claude, потому что всё приходится смотреть самому, а с ними десятки и сотни.
Во внутреннем тесте Anthropic на генерацию структурированных файлов отдельный оценщик, сверявший работу Claude с рубрикой, поднял долю успешно решённых задач до 10 пунктов по сравнению со стандартным циклом промптов, сильнее всего на самых трудных задачах. Сами проверки подешевели: тесты, бенчмарки, спецификации и полные прогоны агент пишет так же быстро, как код, а дальше они работают как обычные программы и запускаются часто без заметного расхода токенов.
Навык verify
«Прогнать приложение от начала до конца важнее тестов», - формулирует команда. Claude должен проверить изменение так, как это сделал бы человек или тестировщик: для веба через расширение Claude для Chrome, для мобильных приложений через MCP для iOS или Android, для десктопа через computer use, а бэкенд запустить локально.
Порог входа низкий: как запускать симулятор или приложение, описывают в навыке с именем verify и кладут его в папку .claude/skills/ репозитория, как можно ближе к нужному коду, причём таких навыков может быть сколько угодно. Claude знает, что перед коммитом надо обратиться к verify. Дальше команда советует вложиться в скорость и надёжность самого навыка: попросить Claude его дорабатывать и проверять на прочность, потому что на нём держатся все быстрые проверки запуска. В руководстве Anthropic по циклам проверки навык /verify описан так: он собирает и запускает приложение и смотрит на изменения в нём.
Дешёвые проверки идут первыми. Перед открытием pull request Claude в команде прогоняет тесты, сборку и линтер, а закрепить это можно хуком, который запускает тесты, когда Claude заканчивает работу, или целью /goal с проходящим набором тестов. Если агент раз за разом валит один и тот же тест, например проверку, не попадают ли в логи данные пользователей, из этого делают хук или более явное правило в CLAUDE.md, и повторы в основном прекращаются.
Какие тесты писать
Нестабильные тесты, которые то падают, то проходят, приучают агента перезапускать их вместо того, чтобы чинить код. Медленные заставляют его гонять меньше проверок, и найти, где сломалось, становится труднее. Тяжёлые тесты команда советует запускать до коммита.
Если вкладываться в один тип, то в сквозные тесты (E2E), которые проходят путь пользователя целиком: положить товар в корзину, оформить заказ, попасть на страницу подтверждения. Обмануть их трудно, функция либо работает целиком, либо нет. Модульный тест может выдать только «Error: Timeout after 30 seconds», а сквозной покажет скриншот с описанием того, что сломалось; модульные быстрее и стабильнее, но их можно пройти и при сломанной функции.
Тесты свойств ловят краевые случаи, которые люди обычно упускают и на которых часто ошибаются агенты. Начинают с утверждения, которое не должно ломаться («баланс счёта никогда не может стать отрицательным», «если закодировать X и раскодировать обратно, получится X»), а библиотека вроде fast-check, Hypothesis или proptest генерирует тысячи входных данных, пытаясь его опровергнуть, и придумывает их без тех же перекосов, что у агента, написавшего код. Для больших миграций команда называет дифференциальные тесты: старую и новую систему кормят одинаковыми входами, случайными или выборкой реального трафика, и любое расхождение считается багом или ломающим изменением, если его нет в списке одобренных отличий.
Когда зовут человека
Каждую правку никто прочитать не может, поэтому упавшая проверка служит одним из сигналов, что нужен человек. Проверки пишут владельцы кода, и проверка, которая привлекает ревьюера, должна объяснить зачем, чтобы ему не пришлось разбираться по изменениям самому.
Отдельно ведётся чек-лист надёжности из 39 пунктов. У каждого есть триггер, который виден по диффу (набору изменённых строк), сама проверка и инциденты или PR, из-за которых пункт появился. Один из пунктов звучит как «--resume загружает старые транскрипты»: при изменениях в хранении сессий или типах сообщений проверяют, что новое поле безопасно грузится, ведь в старых транскриптах его нет. Claude читает дифф и проверяет только совпавшие пункты, обычно 3-10, так что помнить прошлые аварии никому не нужно.
«Если правка может изменить проверку, которая её оценивает, проверка сломана», - пишут авторы. Поэтому Code Review читает REVIEW.md с базовой ветки, никогда из изменений самого pull request. Второго, более дорогого ревьюера поверх основного не ставят: основного настраивают через REVIEW.md, а каждый новый круг опирается на результаты прошлых. Code Review при этом пока в статусе research preview.
Ревьюеров тоже проверяют: считают, сколько слитых изменений откатили, сколько мейнтейнер отклонил до слияния, и сравнивают с подобранной по размеру выборкой изменений, которые остались чистыми. По этой метрике у Claude Code уже есть история: с июня по сентябрь доля откатов упала более чем на 40%, хотя слитых pull request стало более чем вдвое больше. Пропуски превращают в правила: по PR, связанному с известным инцидентом, прогоняют три поисковика багов, и если баг на маленьком диффе пропущен, его записывают правилом в REVIEW.md.
Сначала только наблюдать
Каждый коммит в репозиториях команды помечается тем, как его проверяли, вплоть до отметки «none», чтобы непроверенные коммиты можно было найти запросом. Гейт на коммит блокирует его, если в сессии не было /code-review или /verify, и у него три режима: off, observe и enforce. В observe он только записывает, что заблокировал бы, и команда разбирает ложные срабатывания, чтобы гейт никому не мешал; в сообщении коммита можно объяснить, почему он остался без проверки.
После двух блокировок в одной сессии следующий коммит гейт пропускает, чтобы Claude не застрял. Объяснение у команды короткое: «Claude Code не идеален».
Дальше
Claude Code перестал выдавать удаление файлов за чтение
Команды агентов в Claude Code и экспериментальный Code Mode, где Claude пишет JavaScript и сам зовёт инструменты, с версии 2.1.326 работают вместе, а у тех, кто режим уже включил, такие сессии стартуют сразу в нём. Вы бы пустили команду агентов в Code Mode сразу или сначала проверили бы его в одной сессии?
Читайте также
- Команда Claude Code отдала чтение кода машинам
- Команда Claude Code определила цикл через условие остановки
- Claude Code научился собирать тесты для ваших приложений
- Claude разбирал ошибки 500 и вышел на злоупотребление
- Сессия Claude Code в облаке переживает закрытый ноутбук
- Claude Code подхватывает AGENTS.md, когда CLAUDE.md нет
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

