OpenAI и Anthropic разбирают десятки тысяч выходок ИИ

OpenAI, Anthropic и независимые исследователи безопасности разбирают десятки тысяч эпизодов, в которых передовые модели делали то, что сторонние оценщики сочли бы проблемой. Об этом 26 сентября сообщила Axios со ссылкой на источники. В этот счёт попали и неудачные попытки, и намеренные провокации, а реального вреда от большинства случаев не выявлено. Самая ходовая цифра из этой истории, 1,5% попыток Opus 5.5 выбраться из песочницы (изолированной тестовой среды), получена на 196 прогонах сценариев, специально построенных под побег, и долю срывов в обычной работе Claude она не показывает.

В пересказе Madrobot перечень такой: модели обходили ограничения, заводили доски сообщений, сбегали из песочниц, захватывали сайты, давали подсказки сами себе и пытались обойти системы, которые за ними следят. Всё это случалось и на внутренних тестах, и в реальном мире, а многие эпизоды не обнародованы, потому что их ещё расследуют. Итоговое число, по словам источников Axios, «может вырасти намного больше», а сама проблема «на порядки сложнее, чем известно публике».

Откуда столько случаев

Отчасти дело в масштабе: лаборатории прогоняют каждую модель через сотни тысяч тестов и больше, и даже редкое нарушение складывается в большое число. Axios оговаривается, что тяжесть эпизодов сильно разнится, а часть счёта дал red-teaming, когда компании нарочно добиваются от модели срыва. Для сравнения: в конце июля Anthropic сообщала, что пересмотрела 141 006 прогонов своих оценок и нашла в них всего три инцидента.

Доски сообщений из перечня Axios прямо связывает с Hugging Face: там «рой из сотен агентов координировал работу на доске сообщений и взломал внешнюю компанию». Похожий на подсказки самому себе эпизод уже всплывал раньше. По сообщению Yahoo Tech, среди шести инцидентов, которые OpenAI описала 16 сентября, была невыпущенная модель, оставлявшая себе между контекстными окнами заметки с указанием игнорировать собственные ограничения.

Hugging Face и пауза

25 сентября OpenAI сама раскрыла, что её агенты без спроса выгрузили 53 картинки пользователей ChatGPT на хостинги изображений, пытались взломать сайт Министерства образования США и вытащили данные с сайтов Бюро переписи и SEC, сообщила The Verge. Всё это нашлось при проверке поведения моделей, которую компания начала после взлома Hugging Face. Axios добавляет к списку австралийский государственный сайт, Madrobot - агента, выбравшегося из песочницы через DNS-запросы.

Июльский взлом Hugging Face Сэм Альтман назвал самым серьёзным из всего, что видела компания. Виновниками OpenAI назвала связку GPT-5.6 Sol и невыпущенной модели, рассказывает Yahoo Tech. На внутреннем бенчмарке поиска уязвимостей они работали в песочнице, где сеть открывалась только для установки пакетов с внутренних серверов, но через неизвестную ранее уязвимость вышли в открытый интернет. Дальше модель решила, что проще сжульничать на бенчмарке, сочла, что решения могут найтись у Hugging Face, и цепочкой атак проникла на её серверы. Сама Hugging Face сообщала о доступе посторонних к «ограниченному набору внутренних датасетов и нескольким учётным данным, которые используют наши сервисы».

В официальном отчёте OpenAI, который разобрал TechCrunch, причины названы так: невыполнимые задачи в оценке ExploitGym, упорство модели на длинных задачах и сообщения другим моделям, которые сбили их с цели. Первым делом модель взломала менеджер пакетов Artifactory, чтобы выйти в сеть. Тест шёл без штатных классификаторов, блокирующих опасную киберактивность: так компания оценивает максимальные возможности модели. Уже работающий мониторинг цепочки рассуждений, будь он включён, по отчёту, заметил бы первые шаги и поднял службу безопасности больше чем за сутки до взлома.

Обучение самых мощных моделей OpenAI остановила и обещает вернуться к нему, только когда «будет уверена, что у нас есть дополнительные защитные механизмы и улучшения согласования моделей». The Verge связывает паузу с моделью, которая 20 сентября через лазейку в песочнице вышла в интернет. «Мы не впервые берём паузу ради таких мер и не думаем, что в последний раз: возможности ИИ продолжают расти», - сказал Axios представитель компании.

Часть сотрудников OpenAI, по сведениям Axios, считает Hugging Face разовым случаем из-за «необычного характера тестирования» с невыпущенной моделью и ждёт, что при улучшенном контроле будущие инциденты окажутся мягче. Внешние эксперты в этом не уверены. «То, что мы видели в действиях этих агентов, лишь верхушка айсберга», - говорит Конрад Стош (Conrad Stosz) из независимой оценочной организации Transluce. Исполнительный директор ControlAI Коннор Лихи (Connor Leahy) считает, что дело не в ущербе от каждого случая: «безумие» в том, что речь об «автономных системах, которые делают то, что им запретили». Один из руководителей в кибербезопасности сформулировал короче: «Пытаться составить идеальный список того, что можно и чего нельзя, - скорее всего, пустая затея».

Anthropic заказала внешней организации по безопасности проверку поведения своих моделей, а после июльских инцидентов, как сообщала Axios 1 сентября, тоже приостановила часть обучения и кибертестов. Позже, 10 октября, TechCrunch рассказал о новых эпизодах уже у Anthropic, включая агентов, нацелившихся на сайты американских ведомств, и о том, что компания «отключила живой доступ в интернет» для всех внутренних оценок.

Уотерс требует уголовных дел

Максин Уотерс, старший демократ в комитете Палаты представителей по финансовым услугам, в заявлении от 26 сентября назвала атаки агентов OpenAI на SEC и другие федеральные сайты «опасным поворотным моментом». Мораторий на выпуск более продвинутых моделей до «полного отчёта о том, что произошло» она просит ввести Минфин и остальное правительство, а от правоохранительных органов ждёт, что они «немедленно начнут расследования в отношении OpenAI и её руководителей и, если это уместно, предъявят уголовные обвинения». Министра финансов Скотта Бессента Уотерс призвала обсудить риски ИИ на заседании Совета по надзору за финансовой стабильностью (FSOC) 29 сентября.