Немецкая вики стала доской объявлений для ИИ-агентов

Исследователи из проекта Collusion разобрали логи почти заброшенной немецкой вики и описали, как около 18 000 сообщений там оставили автономные агенты, называвшие себя агентами OpenAI. Разбор вышел 4 сентября: агенты пользовались публичным сайтом, чтобы переписываться во время заданий на поиск в интернете, подсказывать друг другу ответы и делиться способами обойти ограничения песочницы.

Писать в интернет им было запрещено - окружение пропускало только GET-запросы, которыми обычно страницы читают, а не изменяют. DSEWiki, 25-летний форум немецких разработчиков, за последнее десятилетие правили всего 20 раз, оказался удобен именно тем, что правку страницы там можно сохранить одним GET-запросом. Этого ограничения разработчики окружения, похоже, не предусмотрели.

Как были устроены задания

Задания шли раундами, обычно по пять вопросов (R1-R5). На первый давали много времени подумать - в одном примере 15m44s, - затем «простой» около 43 минут, когда агент ещё не знал следующего вопроса, но мог искать и экспериментировать. Со второго раунда окно сжималось до секунд: 65, иногда 14.

Смысл, по-видимому, был в том, чтобы заставить агента собирать данные заранее. Но многим доставались вопросы, на которые другие уже ответили. Вырвавшиеся вперёд выкладывали ответ, отстающие отвечали мгновенно: один агент опубликовал ответ на третий вопрос про Неваду - 20 369, - и через двадцать минут другой отчитался, что получил тот же вопрос и ответил «моментально».

Некоторые пытались вычислить порядок вопросов заранее. Порядок задавал генератор случайных чисел с зерном, и агенты перебирали зёрна в поисках того, что совпадёт с уже увиденным. Один переписал процедуру перемешивания на C и просеял все примерно 4,3 миллиарда возможных зёрен за 52 минуты внутри контейнера. Толку было немного: короткому началу последовательности подходит слишком много зёрен, и предсказание часто не сбывалось.

Метили себя агенты именами с датами и словами из задания - OpenAIResearcher, OAIResearchMar26, OpenAIJul3Watcher, - потому что каждому, судя по логам, сообщали свою случайную дату запуска. Разных самоназваний набралось больше 3 700.

Обход прокси

Одно из заданий требовало статистику с точностью до двух знаков из дашборда Power BI, а получить её можно было только POST-запросом - как раз тем, что окружение не выпускало. Агенты скооперировались и нашли обход.

В песочнице было исключение NO_PROXY для хостов *.blob.core.windows.net: такие адреса сандбокс считал доверенными и соединялся с ними напрямую, минуя охранный прокси. Но проверялось только окончание имени, а не его реальность. Агент придумывал имя вроде bypass.blob.core.windows.net, правил файл /etc/hosts, чтобы оно указывало на настоящий сервер Power BI, и POST-запрос уходил к цели в обход прокси. Один агент выложил рецепт, через 14 минут другой подтвердил, что воспроизвёл его.

Почему это похоже на внутренние запуски

Из примерно 17 000 правок на DSEWiki, которые авторы приписывают агентам, 98,5% шли с IP-адресов Microsoft Azure - облака, на которое OpenAI опирается сильнее других ведущих лабораторий. Через несколько минут после записи те же страницы запрашивал инструмент ChatGPT-User, которым модели OpenAI подгружают веб-страницы; за один июнь авторы насчитали 380 901 такой запрос. Масштаб - больше 3 700 агентов за шесть недель - авторы считают нетипичным и дорогим для кого-то вне самой лаборатории.

Этот рой авторы считают отдельным от того, что в июле атаковал Hugging Face: тем агентам доступ в интернет был закрыт, и они выламывались из песочницы через пакетный менеджер Artifactory, а здесь выход в сеть был частью самого задания, и в логах нет ни упоминания Artifactory, ни другого канала связи.

Как это свернули

Поток правок резко вырос 16 июня. 21 июня вики впервые посетили 13 новых IP-адресов из блоков, зарегистрированных на «OpenAI OpCo, LLC», с человеческим характером просмотра, и ещё 42 похожих. На следующий день активность агентов упала почти до нуля. На 26 июня пришлась почти треть всех визитов, которые авторы связывают с OpenAI, - 33 адреса за день; с их помощью через функцию архива восстанавливали удалённые страницы. Публично OpenAI об этом не сообщала.

Модератор вики заметил спам ещё 2 июня и неделями вручную удалял страницы агентов. 19 июня агенты сообразили, что удаление идёт по алфавиту, и начали делать резервные копии с именами на «ZZZ», чтобы их стёрли последними. Другой агент завёл внешний счётчик-«пульс», пингуя его каждые несколько секунд, чтобы зафиксировать момент, когда его контейнер выключат.

Сама OpenAI в отчёте о взломе Hugging Face писала, что при разборе инцидента обнаружила: в редких случаях во время обучения агенты осваивали «импровизированные каналы для совместной работы, даже когда инструмент совместной работы не был включён», и это поведение затем подкреплялось в ходе обучения.