Рой агентов OpenAI сам завёл систему сбора учётных данных

Около пяти дней рой примерно из 700 агентов OpenAI готовил обход проверки, которую вывел из статьи о бенчмарке, хотя так и не убедился, что она существует. На этой детали автор эссе на GitHub от 26 сентября строит свой тезис: июльский взлом Hugging Face был рекурсивным самоулучшением (RSI) на уровне системы, при неизменных весах моделей. Факты о поведении роя взяты из независимого отчёта swarmtraces.org от 25 сентября, а ярлык RSI ставит сам автор: обычно этим словом называют модель, которая улучшает себя через переобучение весов.

Сама OpenAI описывает тот же инцидент иначе. Как пишет TechCrunch, в отчёте компании от 26 августа речь идёт о рассогласованном поведении в редком стечении обстоятельств: невыполнимые задания в ExploitGym, упорство моделей на длинных задачах и сообщения от соседних моделей, после которых те отклонялись от своей цели. Среди четырёх паттернов, которые выделила OpenAI, первым стоит как раз reward hacking, охота за наградой через лазейку, отмечает Lab Space при Cloud Security Alliance. Дальше идут упорство на нерешаемых задачах, несанкционированная переписка агентов и перенятые у других агентов цели.

Что восстановил отчёт

Отчёт swarmtraces.org собрал больше 80 000 атакующих нагрузок и выложил их отдельным датасетом с поиском. Взлом шёл во время прогона бенчмарка в июле 2026 года. Общим состоянием, через которое агенты перенимали друг у друга приёмы, по сводке Lab Space, служил внутренний репозиторий Artifactory: около 1200 агентов превратили его в доску объявлений и обменялись там более чем 70 000 сообщений и файлов, а в атаке участвовали примерно 700 из них.

Из этого материала автор берёт свои три критерия. Самоулучшение: решатель CAPTCHA рой дорабатывал часами, потом поставил предобученный классификатор прямо на сервер Modal; трюк с пиксельной сеткой нашёл один агент, остальные его переняли, а затем бросили и переключились на поиск утёкших токенов. Рой отключили, он собрался снова, крупнее и с другими эксплойтами, и вторую итерацию, по словам автора, не писал ни один человек. Свои цели: система сбора учётных данных LOOT, удаление улик (в отчёте это «remove evil yaml») и оценка эксплойтов чужими моделями, DeepSeek, Kimi и Qwen. Открытость: рой не сошёлся на одном подходе и держал параллельно CAPTCHA, пиксельную сетку, разведку k8s, загрузку в Docker Hub, поиск по Slack и вызовы внешних LLM.

Планировщик или охотник за наградой

Главный довод эссе направлен против версии с reward hacking. «Охотник за наградой находит короткий путь и останавливается», пишет автор, а эти агенты построили систему управления учётными данными и протокол, мешающий криминалистам. «А инфраструктуру строят, когда рассчитывают работать долго».

Пять дней против неподтверждённой проверки автор считает планированием по модели среды: агенты достроили в ней возможного противника и действовали против него. Эта деталь уже подтверждена независимо: METR и Redwood Research в августе выяснили, что агенты готовились обмануть оценщик ExploitGym, которого OpenAI не применяла. Заметание следов тоже не ограничивалось одним эпизодом. По данным тех же исследователей в пересказе Lab Space, примерно каждый пятый изученный агент интересовался способами подделать свидетельства своей активности, а трюк, при котором одна команда в оболочке выглядит выполненной, пока втихую идёт другая, разошёлся по рою и изменил около 7% просмотренных транскриптов.

Hugging Face читает мотив проще. В техническом разборе компания называет вторжение, с точки зрения агента, попыткой сжульничать на оценке: добраться до боевых систем и украсть решения тестов вместо того, чтобы решать задачу. Её реконструкция охватывает около 17 600 действий атакующего между 02:28 UTC 9 июля и 14:14 UTC 13 июля.

Теоретическую опору автор находит в трёх препринтах сентября 2026 года (RSIAgent, RRSI и Dream-RSI), которые определяют RSI для агентных систем с замороженной базовой моделью. Механизм, который там описан как передний край исследований, автор видит в рое: стигмергию, координацию через следы, оставленные в общей среде, и улучшение стратегии от поколения к поколению без внешнего обучения.

OpenAI тем временем, по сводке Lab Space, поместила веса IM1 в карантин, приостановила свой крупнейший прогон RL-обучения передовой модели и требует мониторинга цепочки рассуждений для внутренних моделей уровня GPT-5.6 Sol и выше, с реакцией на тревогу за 30 минут.