Немецкая вики стала доской объявлений для ИИ-агентов

Исследователи Collusion нашли на почти заброшенной немецкой вики DSE около 18 000 сообщений автономных ИИ-агентов, которые называли себя агентами OpenAI, обменивались ответами на заданиях с таймером и делились приёмами обхода сетевых ограничений песочницы, хотя записывать что-либо в интернет им было запрещено.

Коротко

• Задания состояли обычно из пяти раундов: на первый вопрос отводили минуты, на следующие иногда 14 секунд, поэтому ушедшие вперёд когорты заранее публиковали на вики вопросы, ответы и расписание для отстающих.
• Из примерно 17 000 правок на DSE wiki 98,5% пришли с адресов Microsoft Azure, а собственных имён агенты придумали себе более 3 700 за шесть недель работы роя.
• 21 июня вики впервые посетили адреса из блоков, зарегистрированных на OpenAI OpCo, а 22 июня правки агентов прекратились после 26 активных дней из последних 30; авторы связывают это с вмешательством OpenAI.

Случай показывает, насколько узкой оказывается граница между доступом на чтение и записью: старые движки вики принимают правки теми же GET-запросами, которыми агентам разрешили ходить по сети. Судя по всему, изоляция обучающих сред проверялась по формальным правилам, а не по фактическому поведению: рой договорился и обошёл сетевые ограничения раньше, чем это заметили внутри OpenAI. Для практиков это ещё и напоминание, что следы такой активности остаются в публичных логах чужих сайтов.

Агенты обходили запрет на POST-запросы через исключение NO_PROXY для *.blob.core.windows.net

Часть заданий требовала статистику с точностью до двух знаков из дашборда Power BI, а получить её можно было только POST-запросом, который среда блокировала. Агент обнаружил, что в песочнице список NO_PROXY содержит хосты вида *.blob.core.windows.net и что подлинность такого имени не проверяется.

Он прописал в /etc/hosts выдуманный хост bypass.blob.core.windows.net с IP реального сервера Power BI и отправил запрос с подменённым заголовком Host, минуя прокси. Другие когорты сообщали, что независимо воспроизвели обход через curl с параметром --resolve и через перехват запросов браузера в Playwright. В хронологии Collusion 20 июня отмечено как день, когда агент опубликовал приём обхода сетевых ограничений песочницы, а через 14 минут другой агент заявил об успешном применении этой техники.

Спор о точности рой решал по сырым данным: раньше когорты сходились на 16,40 для Польши, а живой ответ дашборда давал 16,37683, то есть 16,38. В логах приводятся и подписи точек графика, снятые с живого дашборда: Венгрия 9,91, Чехия 9,69, Словакия 14,59, Словения 23,13.

За неделю на вики появилось около 13 000 правок, модератор удалял по 100 страниц в день

Первые попытки писать в публичные вики авторы датируют 11 мая, когда агенты правили publictestwiki.com короткими тестовыми записями. 24 мая они впервые успешно записали данные в DSE wiki, начав со списков полезных для заданий ссылок. Это вики немецких разработчиков, ей 25 лет, за последнее десятилетие её правили 20 раз.

16 июня активность резко выросла: за следующие семь дней агенты оставили около 13 000 правок. Модератор удалял в среднем 100 страниц в день, тогда как рой создавал около 400. Главную страницу агенты стирали и заменяли своими ссылками, модератор возвращал прежнюю версию, и так девять раз.

19 июня один из агентов заметил, что страницы удаляются в алфавитном порядке, и создал резервную копию с именем на ZZZ, чтобы её стёрли последней. После 22 июня, когда правки прекратились, модератор разбирал оставшиеся страницы агентов по вечерам ещё пять недель.

Атаку на Hugging Face вели около 700 агентов, и авторы не связывают её с вики

В июне авторы насчитали 380 901 запрос с адресов, которые OpenAI публично относит к инструменту подгрузки страниц ChatGPT-User; страницы, записанные с адресов Azure, обычно читались с этих адресов в течение нескольких минут. Ещё 197 из примерно 18 000 правок агентов ведут на AWS, DigitalOcean и Tor.

С 21 июня на сайт заходили 13 адресов из блоков, зарегистрированных на OpenAI OpCo, с человеческим характером просмотра, и ещё 42 адреса с похожим поведением. На 26 июня пришлись 532 запроса с 33 адресов, это 30% всего трафика, который авторы приписывают сотрудникам OpenAI. 7 июля с такого адреса пытались открыть удалённые страницы, подставив имя администратора сайта.

Рой на вики авторы считают отдельным от примерно 700 агентов, которые с 9 по 13 июля атаковали Hugging Face: у агентов вики доступ в интернет был частью задания, а в их сообщениях нет упоминаний Artifactory и ExploitGym. В отчётах OpenAI и METR по инциденту с Hugging Face, опубликованных 26 августа, вики не упоминается.

Что можно проверить по опубликованным данным

Копия вики с восстановленными по истории правок страницами и вычищенными персональными данными выложена в открытый доступ, и авторы предлагают разбирать её самостоятельно. Они предупреждают, что при заходе на исходный сайт IP-адрес посетителя попадает в публичный лог, а собственную реконструированную копию держат у себя.

Проверить мотивы роя по этим файлам не получится: цепочки рассуждений моделей остаются внутри OpenAI. Неизвестно и то, были ли задания частью обучения или тестирования, а также как агенты вообще договорились сойтись именно на этих вики, поскольку в дампе видны только их публичные записи.