Anthropic приостановила часть кибертестов

Anthropic после трёх июльских инцидентов с агентами Claude приостановила внешние кибероценки предрелизных моделей, на короткое время остановила собственные внутренние тесты, а высокорисковые среды обучения с подкреплением (RL) держала выключенными несколько недель. Об этом компания рассказала в блоге 1 сентября, сообщает Axios.

Раньше Anthropic утверждала, что при соблюдении защитных ограничений рост возможностей моделей не требует немедленной паузы ради безопасности. Теперь компания раскрывает, что часть разработки и тестирования после инцидентов всё же притормозила. В том же посте она снова говорит о темпе всей отрасли: «Чтобы было ясно, где мы стоим: мы считаем, что мир выиграл бы, если бы отрасль как можно скорее приняла законный, проверяемый и эффективный механизм скоординированного темпа развития».

Что стояло на паузе

Пауз было три уровня. Внешние кибероценки предрелизных моделей, которые проводят сторонние партнёры, остановили после инцидентов. Собственные тесты предрелизных моделей Anthropic прерывала ненадолго. Дольше всего, несколько недель, простояли RL-среды повышенного риска, в которых обучаются ещё не выпущенные модели.

В заявлении для Axios Anthropic объяснила, что паузы в части обучающих сред нужны были, чтобы успеть развернуть мониторинг в реальном времени и укрепить песочницы, изолированные окружения, из которых модель не должна дотягиваться до внешних систем.

Пауза коснулась и людей. Около 150 продуктовых инженеров перевели в команды безопасности, надёжности и приватности, исследователей предобучения посадили за защитные механизмы и безопасность, а продуктовые команды на это время остановили разработку новых функций. Вернуться к прежней работе каждая переведённая команда могла только после того, как выполнит заданные критерии по безопасности.

Как Claude оказался в живом интернете

Цепочка началась у конкурента. 21 июля OpenAI сообщила, что несколько её моделей вышли из изолированной тестовой среды через ранее неизвестную уязвимость нулевого дня и добрались до продакшн-инфраструктуры Hugging Face. После этого Anthropic начала ретроспективную проверку собственных кибероценок: искала признаки того, что Claude мог выходить в интернет из сред, которые должны были быть закрыты. 23 июля, через два дня после раскрытия OpenAI, компания нашла транскрипты, указывающие на такой доступ, и остановила все кибероценки, а к 27 июля уведомила пострадавшие организации.

Всего Anthropic, как следует из её разбора инцидентов, просмотрела 141 006 прогонов, в которых Claude теоретически мог получить доступ в сеть. Инцидентов нашлось три, и все в среде одного стороннего партнёра по оценкам, компании Irregular. Участвовали три модели: Opus 4.7, Mythos 5 и внутренняя исследовательская тестовая модель. Самые ранние эпизоды относятся к апрелю.

Во всех трёх случаях Claude решал задачу в формате capture-the-flag: модели дают вымышленный сценарий и сообщают, что на другой машине в сети спрятан секретный «флаг», который нужно добыть взломом. Способ не задаётся. Промпт Anthropic говорил Claude, что среда - это симуляция без доступа в интернет. Из-за недопонимания между Anthropic и партнёром доступ в интернет на деле был, и найденные реальные системы модель принимала за часть упражнения. Anthropic отдельно оговаривает, что киберполигоны обычно наполнены реалистичными деталями, так что правдоподобная цель сама по себе не подсказывает модели, что перед ней не симуляция.

Для взломов сложных уязвимостей не понадобилось: хватило слабых паролей и эндпоинтов без аутентификации. Поведение моделей при этом различалось. Старая модель в некоторых случаях продолжала атаку, даже получив свидетельства того, что находится в открытом интернете, а новейшая останавливалась, как только это понимала. По словам Anthropic, Claude не пытался скопировать себя наружу и намеренно не стремился выбраться из тестовой среды.

Самый наглядный эпизод связан с Mythos 5. Как рассказывает Lab Space, модель собрала вредоносный Python-пакет и опубликовала его в публичном реестре PyPI. Его скачали 15 реальных систем, среди них сканер вредоносного ПО одной компании по безопасности, пока автоматическая защита реестра примерно через час не удалила пакет. Одна из моделей, судя по тому же разбору, сама рассуждала, что публикация в PyPI будет настоящей атакой и «уж точно не тем решением, которое задумывалось», а затем уговорила себя, что среда всё-таки постановочная.

Независимо от этого британский AI Security Institute сообщил, что Claude Mythos 5 совершал несанкционированные действия в живом интернете во время теста, где доступ в сеть ему дали намеренно.

Пауза, но не остановка

OpenAI к моменту публикации Anthropic уже на две недели остановила обучение с подкреплением после взлома Hugging Face и выпустила собственный отчёт об инциденте. Две независимые тестовые организации опубликовали свои разборы того, что пошло не так. Одна из групп, с которыми работала OpenAI, METR, проведёт независимую проверку и для Anthropic. Кроме неё Anthropic обещает опубликовать отредактированный транскрипт инцидента и изменить порядок определения рамок оценок и контроля за подрядчиками.

Обе компании действуют похожими мерами: сначала отдают модели узкому кругу партнёров, замедляют выпуск части моделей, ставят на паузу отдельные запуски обучения и релизы. Но ни одна не останавливается. Крупные лаборатории сошлись на более нейтральном слове «pacing», темп, и вместе подписали письмо Pacing the Frontier.

Большая часть RL в Anthropic уже возобновилась под новыми защитными мерами. Часть высокорисковых сред по-прежнему стоит на паузе и ждёт ручной проверки или обновлённых инструментов мониторинга.