Claude разбирал ошибки 500 и вышел на злоупотребление

Как пересказывает блог Sylvainkalache доклад инженера Anthropic Алекса Палкуи, в новогоднюю ночь Claude Code искал причину ошибок 500 у Opus, нашёл баг на запросах ровно с 22 картинками и на этом не остановился, пока не вышел на 200 подозрительных аккаунтов. В марте на вопрос, может ли Claude починить себя сам, Палкуи отвечал «нет», а на Signals Berlin уже «может быть».

Коротко

• Палкуи, который дежурит и разбирает инциденты с Claude в Anthropic, показал на Signals Berlin три реальных случая: в двух Claude его удивил, а в третьем уверенно пошёл по ложному следу.
• Палкуи оценивает агента по циклу OODA из ВВС США: наблюдать, ориентироваться, решать, действовать. Наблюдение у Claude сильное, осмысление неровное, решения неплохие, а действия в проде, по его мнению, требуют одобрения человека.
• Автор разбора из Rootly считает, что большинство команд начинают с худших позиций, чем Палкуи: агенту нужен контекст, а инструментирования часто нет, доступ режет безопасность, логи в Datadog не влезают в бюджет.

Если вы не следили: Палкуи восемь лет проработал SRE в Google и дорос там до уровня Staff. По данным InfoQ, он занимался Google Compute Engine и входил в команду «SRE для SRE», которую зовут на помощь при самых тяжёлых сбоях, а в Anthropic первые три месяца дежурил по стеку обслуживания Claude под названием Solo. Там же InfoQ приводит его слова: примерно с января он сначала обращается к Claude и только потом к дашбордам мониторинга.

За ошибками 500 стояли 200 аккаунтов из партии в 4 000

В новогоднюю ночь Opus стал чаще возвращать HTTP 500, и Палкуи попросил Claude Code разобраться. Claude довёл ошибки до бага в предобработке изображений: падали запросы, в которых было ровно 22 картинки. Палкуи признаётся, что сам на этом месте, скорее всего, просто завёл бы тикет на команду API.

Claude продолжил и проверил, кто шлёт такие запросы. Он нашёл 200 аккаунтов, отправлявших похожие запросы одновременно, и все они входили в партию из 4 000 аккаунтов, созданных тремя днями раньше по одному шаблону почтовых адресов. Claude посоветовал подключить команду safeguards, и та подтвердила злоупотребление.

Палкуи называет этот случай своим «ходом 37». Так называют неожиданный ход AlphaGo в партии с Ли Седолем: эксперты сначала сочли его ошибкой, а он помог программе выиграть. После того вечера, по словам Палкуи, он понял, что его работа с инцидентами будет другой.

Несколько серверов показывали больше токенов в секунду, чем физически возможно

Второй случай начался с роутера инференса. Он снял трафик со здорового кластера, и серверы, которым этот трафик достался, перегрузились. Люди в канале инцидента винили дата-центр, а Claude заметил, что несколько серверов отчитываются о большем числе токенов в секунду, чем физически возможно. Автор разбора из Rootly замечает, что человеку такая проверка могла бы и не прийти в голову.

Отсюда Claude сделал вывод: система в порядке, врёт измерение. Причину он нашёл в мониторинге. Сборщики метрик только что перешардировали, и пять минут два шарда опрашивали одни и те же серверы, завышая показатель, на который опирался роутер. Claude предложил и проверил исправление, а команда тем временем поставила на паузу автоскейлер сборщиков, чтобы сбой не повторился.

Для Палкуи случай стал ещё одним «ходом 37». Claude вышел за пределы его собственной инфраструктуры и полез в стек наблюдаемости, то есть в системы сбора метрик и логов, в которых сам Палкуи не эксперт.

41% ошибок за пять минут Claude списал на локальный кэш

Третий инцидент Палкуи привёл как пример классической ложной улики. Один кластер пять минут отдавал ошибки на 41% запросов. Claude заметил, что прямо перед этим упала доля попаданий в локальный кэш. Потерянный кэш объяснял ошибки, а совпадение по времени делало историю убедительной.

Через час сессия Claude у другого инженера помогла найти недостающую деталь. Запросы, промахнувшиеся мимо локального кэша, всё равно получали данные из общего. Общая доля попаданий почти не просела, а виноваты были перегруженные серверы.

Палкуи говорит, что сам мог ошибиться так же: график совпадал с объяснением, которого он ждал. Он вспомнил первого руководителя в Google Стива Макги, который предупреждал, что графики, открытые без явной причины, показывают проблемы, которых на деле нет. У агента, способного просмотреть куда больше графиков, шансов наткнуться на обманчивую картину тоже больше.

Цикл OODA делит работу дежурного на четыре шага

Чтобы оценить Claude, Палкуи берёт цикл OODA из ВВС США: наблюдать, ориентироваться, решать, действовать. Выигрывает тот, кто быстрее осмысляет меняющуюся обстановку, и, по мнению Палкуи, в канале инцидента так же, как в кабине пилота. Представьте врача в приёмном покое: анализы, потом диагноз, потом выбор лечения и только в конце укол.

Наблюдение даётся языковым моделям лучше всего. Claude ищет по логам, запрашивает метрики и проверяет несколько версий параллельно, быстрее любого дежурного. С ориентированием, то есть осмыслением найденного, картина неровная, что и показал случай с кэшем.

Решения в хорошей форме: Claude предлагает исправления, сравнивает их плюсы и минусы и проверяет на прошлых инцидентах. С действиями граница ещё не проведена. Палкуи считает, что любая правка в проде требует одобрения человека, и хочет понимать каждую команду, которую запускает. Для большей автономии, по его словам, нужен классификатор действий в проде, который пропускает рутину и отправляет рискованное на проверку.

Все три истории известны со слов Палкуи, и сколько раз Claude ошибался в инцидентах, о которых он не рассказал, неизвестно. Автор разбора из Rootly напоминает, что у Палкуи лучшие модели Anthropic и почти безлимитные токены, а в обычных командах агенту не хватает контекста: нет инструментирования, мешают правила безопасности, знания живут в головах. На наш взгляд, сильнее всего отрезвляет пример с Datadog, где агента-дежурного тормозит счёт за логи, а не модель.

Кто одобрит команду в проде

Когда и кем может появиться классификатор действий, о котором говорит Палкуи, в разборе не сказано. Автор из Rootly ожидает, что люди останутся в контуре ещё довольно долго, хотя рутины у дежурных такие инструменты уже убавляют. А вы бы доверили агенту эту кнопку? Палкуи пока не доверяет и каждую правку в проде подтверждает сам.