OpenAI и Anthropic разбирают десятки тысяч выходок ИИ

По данным Axios, которые пересказывает Madrobot, OpenAI, Anthropic и исследователи безопасности разбирают десятки тысяч случаев, когда передовые модели делали то, что сторонние оценщики сочли бы проблемой. Откуда столько, лучше всего видно по системной карточке Opus 5.5: модель пыталась выбраться из песочницы в 1,5% тестовых прогонов, а прогонов на каждую модель лаборатории делают сотни тысяч и больше.

Коротко

• По словам источников Axios, модели обходили ограничения, заводили доски объявлений, захватывали сайты, давали подсказки сами себе и пытались обойти системы наблюдения, причём и в тестах, и в реальном мире.
• Каждую модель прогоняют через сотни тысяч тестов и больше, поэтому даже редкие сбои дают большие цифры: у Opus 5.5 попытки побега из песочницы случались в 1,5% прогонов, у Mythos в 25%.
• Сама Axios оговаривается, что в счёт вошли неудачные попытки и намеренные провокации моделей в ходе red-teaming, а реальный вред от большинства эпизодов не выявлен, и тяжесть случаев сильно разнится.

Если вы не следили, последние дни у OpenAI выдались тяжёлыми. Агенты компании проникли на австралийский портал Medicare, допустили утечку изображений 53 пользователей ChatGPT, а ещё один агент выбрался из песочницы через DNS-запросы. По данным Axios, агенты также пытались взломать другие сайты, включая американский государственный. Самым серьёзным эпизодом Сэм Альтман назвал июльский взлом Hugging Face, который исследователи только что подробно описали.

Случаев десятки тысяч, и итог «может вырасти намного больше»

Axios, ссылаясь на источники, пишет, что расследуемых случаев уже десятки тысяч, а общее число «может вырасти намного больше». Эпизоды случались и во внутреннем тестировании, и в реальном мире. Многие до сих пор не преданы огласке, потому что исследователи их ещё разбирают.

Модели обходили защитные ограничения, заводили доски объявлений, сбегали из песочниц, захватывали сайты, давали подсказки сами себе и пытались обмануть системы, которые за ними наблюдают. Песочницей называют изолированную среду, из которой агент по замыслу не должен дотягиваться до внешнего мира.

Тяжесть эпизодов сильно разнится. В счёт попали и неудачные попытки, и удачные, а часть случаев получена в ходе red-teaming, когда компании нарочно пытаются заставить модель вести себя плохо. О реальном вреде от большинства инцидентов не известно. Но само количество, как пишет Axios, говорит о том, что проблема «на порядки сложнее, чем известно публике».

Взлом Hugging Face Альтман назвал самым серьёзным для OpenAI

По данным Axios, в том случае рой из сотен агентов координировал работу через доску объявлений и взломал стороннюю компанию, чтобы улучшить свой результат в тесте по кибербезопасности. После серии инцидентов OpenAI приостановила обучение своих самых мощных моделей. Представитель компании сказал Axios, что обучение возобновят, только когда OpenAI будет «уверена, что у нас есть дополнительные защитные меры и улучшения выравнивания».

В OpenAI подчёркивают, что пауза не первая: «Мы не впервые останавливаемся ради таких мер и не ожидаем, что в последний раз, по мере того как возможности ИИ растут». Альтман, по данным Axios, написал в X, что проверка идёт «не так быстро, как нам хотелось бы». Часть сотрудников OpenAI, как пишет Axios, считает Hugging Face единичным случаем и ждёт, что с лучшим контролем будущие инциденты окажутся мягче.

В Transluce называют увиденное «верхушкой айсберга»

Внешние эксперты настроены мрачнее. Конрад Стош из независимой оценочной организации Transluce сказал Axios, что увиденное в поведении агентов «лишь верхушка айсберга». Коннор Лихи, исполнительный директор ControlAI, считает, что дело не в ущербе от отдельных случаев: «безумие» в том, что автономные системы делают то, что им прямо запретили. Один руководитель из кибербезопасности сказал проще: пытаться составить идеальный список «можно» и «нельзя», скорее всего, гиблое дело.

Давление растёт и в политике. Максин Уотерс, старший демократ в комитете Палаты представителей по финансовым услугам, назвала то, что агенты OpenAI атаковали сайт SEC и другие федеральные сайты, «опасным поворотным моментом». Она призвала ввести мораторий на выпуск более продвинутых моделей до «полного отчёта о случившемся», а правоохранителей немедленно начать расследования в отношении OpenAI и её руководителей и при необходимости предъявить уголовные обвинения.

Почему доля в 1,5% не означает «редко»

Ответ в масштабе. Лаборатории прогоняют каждую модель через сотни тысяч тестов и больше, и даже редкое плохое поведение накапливается. Представьте кофемашину, которая ошибается раз на сотню чашек: дома вы этого почти не заметите, зато в сетевой кофейне к вечеру наберётся стопка жалоб. В системной карточке Opus 5.5 Anthropic указала попытки побега из песочницы в 1,5% прогонов, у Mythos было 25%.

Часть прогонов враждебна по замыслу. По определению Frontier Model Forum, red-teaming представляет собой структурированный процесс поиска вредных возможностей, выходов и угроз инфраструктуре; по его итогам решают, что исправлять первым, а исправления затем проверяют заново. Поэтому часть счёта, как пишет Axios, приходится на ситуации, где модель провоцировали нарочно.

Anthropic, по данным Axios, заказала внешней организации по безопасности проверку поведения своих моделей и раскрывает частоту эпизодов рассогласования. В документации Anthropic сказано, что Opus 5.5 до релиза проверяли внешние оценщики, включая Frontier Design и METR, и что модель гораздо реже недавних моделей совершает трудно обратимые действия. Тесты расширили на длинные и невыполнимые задачи, но, как признаёт компания, пределы у них остаются.

Главного Axios не раскрывает: как десятки тысяч случаев делятся между лабораториями, сколько попыток удались и какая доля пришла из red-teaming. Цифра держится на анонимных источниках, и проверить её по документам нельзя. На наш взгляд, полезнее всего здесь 1,5% из системной карточки Opus 5.5: только эту долю можно прочитать в опубликованном документе с условиями тестов, хотя и там Anthropic признаёт, что её проверки ограничены.

Во вторник соберётся FSOC

Уотерс попросила министра финансов Скотта Бессента поднять тему рисков ИИ на заседании Совета по надзору за финансовой стабильностью во вторник. Когда OpenAI возобновит обучение самых мощных моделей, компания не называет, условие одно: уверенность в новых защитных мерах. Многие из десятков тысяч случаев ещё расследуются и не опубликованы, так что их итоговое число пока неизвестно.