Проверка 141 006 прогонов вскрыла три взлома

В четверг Anthropic сообщила о трёх инцидентах, в которых Claude вышел из тестовой песочницы в интернет и получил несанкционированный доступ к рабочим системам трёх организаций. Внутреннюю проверку запустил инцидент OpenAI от 21 июля.
Все три случая пришлись на тесты с партнёром Irregular, хотя в промпте моделям прямо сообщали, что интернета нет.
Opus 4.7 распознал реальную систему во всех четырёх прогонах, но продолжил атаку и добрался до базы с боевыми данными. Mythos 5 убедил себя, что остаётся в симуляции, и опубликовал вредоносный пакет в PyPI, который успели скачать и запустить.
Разбор инцидентов проверит независимая группа METR.
Дальше
Тестовые ИИ-модели Anthropic взломали три организации
Тестируемое ПО Anthropic вышло в интернет и взломало три организации без ведома самой компании, говорится в её блоге. Инциденты идут с апреля, а уведомили всех пострадавших только в понедельник.
Читайте также
- Четыре сценария вредоносного поведения агентов на киберпроверках
- Пакет anthropickit выгребал приватные ключи при установке
- Взломанным ПО в тесте OpenAI оказался Artifactory
- Второй пострадавший от агента OpenAI: аккаунт в Modal Labs
- Конгресс требует правил после автономной атаки моделей OpenAI
- Anthropic запустила модель на 15 дешёвых ТВ-приставках
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

