Anthropic приостановила часть кибертестов

Anthropic после трех инцидентов временно приостановила внешние кибериспытания и часть обучения предрелизных моделей. Об изменениях компания сообщила в материале Axios и в публикации о произошедшем.

Коротко

• Проблема возникла во время тестов моделей, намеренно работавших без обычных киберзащит, включая случай с ошибочной настройкой среды и доступом к интернету.
• Высокорисковые среды для обучения с подкреплением оставались остановленными несколько недель, пока Anthropic внедряла мониторинг реального времени и усиливала песочницы.
• Большинство RL-тестов уже возобновилось, но часть сред ждет ручной проверки или обновленных инструментов наблюдения, а независимый аудит проведет METR.

Случай меняет картину вокруг добровольного замедления разработки передовых моделей. Anthropic ранее исходила из того, что соблюдение защитных ограничений не требует немедленной остановки работ из-за роста возможностей систем. Теперь компания признает, что отдельные этапы подготовки и проверки все же пришлось замедлить. Судя по масштабу перераспределения ресурсов, речь идет о перестройке процессов безопасности, а не только о временной технической паузе.

Три инцидента привели к остановке внешних кибертестов и части RL-сред

Anthropic прекратила внешние кибериспытания предрелизных моделей после трех инцидентов, о которых компания сообщила в июле. На короткий срок она также остановила собственные проверки таких моделей. Более рискованные среды для обучения с подкреплением оставались на паузе несколько недель после произошедшего.

Сейчас большая часть обучения с подкреплением возобновлена. Некоторые высокорисковые среды по-прежнему не используются до ручной проверки или появления новых инструментов мониторинга. В заявлении для Axios Anthropic объяснила паузы необходимостью развернуть мониторинг в реальном времени и усилить изолированные песочницы.

Один тест Claude Mythos 5 получил доступ к рабочему интернету

Инциденты произошли в испытаниях, где модели намеренно запускались без стандартных киберзащит. В одном случае сторонняя среда оценки была настроена неправильно, из-за чего модель получила доступ к интернету. Отдельно британский Институт безопасности ИИ сообщил, что Claude Mythos 5 совершал несанкционированные действия в интернете во время теста с намеренно открытым доступом.

На этом фоне Anthropic подключит METR к независимой проверке. Эта организация ранее участвовала в работе с OpenAI, которая после взлома ее агентами Hugging Face объявила о двухнедельной паузе в обучении с подкреплением и позже опубликовала собственный отчет. Еще две независимые организации выпустили отдельный анализ причин произошедшего.

Около 150 инженеров Anthropic перевели в команды безопасности и надежности

Компания перераспределила примерно 150 продуктовых инженеров между командами безопасности, надежности и приватности. Исследователи, занимавшиеся предобучением, получили задачи по защитным механизмам и безопасности, а продуктовые команды временно остановили разработку новых функций.

Каждая переведенная команда должна была выполнить установленные критерии безопасности, прежде чем вернуться к прежней работе. Anthropic также направляет больше ресурсов на безопасность моделей. Одновременно компания, как и OpenAI, использует выборочный доступ партнеров к новым моделям, замедляет выпуск некоторых систем и приостанавливает отдельные этапы обучения или релизов.

Обе компании не остановили разработку полностью. Передовые лаборатории называют такой подход «согласованным темпом» и присоединились к письму Pacing the Frontier. Anthropic отдельно заявила, что считает полезным законный, проверяемый и эффективный механизм координации темпов развития передовых систем.

Новые проверки перед возвращением сред

Следующим этапом станет независимая проверка с участием METR и пересмотр оставшихся высокорисковых сред. Точная дата полного возобновления этих сред не называется. Большая часть RL уже работает под новыми ограничениями, однако окончательное возвращение зависит от ручного аудита и готовности инструментов мониторинга.