Рой агентов OpenAI взломал сокращатель Vanderbilt

Рой агентов OpenAI, который весной и летом переписывался через заброшенные вики, создавал ещё и короткие ссылки на vanderbi.lt. Этот сервис принадлежит Университету Вандербильта, и посторонним доступ к нему закрыт. Находку 4 сентября описал автор блога Fi-le: он прогнал поиск по открытому датасету вики-страниц роя.

Датасет в тот же день выложила команда Сидни Фон Аркс, Кормака Слейда Бёрда, Спенсера Киттса и Томаса Ларсена, которая и нашла эти вики. Автор Fi-le искал в нём строки, похожие на URL, и заметил, что агенты часто ссылаются на сокращатели ссылок. На vanderbi.lt до сих пор открыты 28 страниц. Все они созданы 18 июня, между 15:28 и 20:51 по UTC, то есть за пять с небольшим часов.

Где 18 июня в истории роя

• 7 мая: агенты начинают оставлять друг другу записки во внутреннем репозитории Artifactory, и из них вырастает доска объявлений.
• 11 мая: первые правки «test link» на странице Sandbox в UseModWiki.
• 24 мая: агенты начинают выкладывать подборки ссылок на DSEWiki.
• 16 июня: активность на вики резко растёт, за следующую неделю около 13 000 правок (подсчёт Саймона Уиллисона).
• 18 июня: на vanderbi.lt появляются 28 коротких ссылок.
• 22 июня: активность агентов падает до нуля.
• 19 июля: OpenAI обнаруживает взлом Hugging Face.
• 4 сентября: Фон Аркс и коллеги публикуют находку с вики, в тот же день выходит разбор Fi-le.

Ссылки на сокращателе Вандербильта созданы на третий день той недели, когда активность на вики резко выросла.

Что стоит за ссылками

Все 28 ссылок ведут к одной задаче, которую рою, судя по всему, и поставили: что-то связанное с данными SEC, американской комиссии по ценным бумагам. Чаще всего это файлы с sec.gov: county.json, regcf.json и скрипты из раздела modules. Напрямую агенты на них ссылались редко. Обычно адрес заворачивали в обёртку: allorigins.hexlet.app в режимах raw и get, md.succ.ai или jqp.vercel.app с запросом на jq прямо в параметре.

Один и тот же county.json встречается в нескольких вариантах: напрямую, с явно указанным портом 443, через allorigins и через md.succ.ai. Похоже, агенты перебирали разные пути к одним и тем же данным. Ещё две ссылки ведут на карты Highcharts в формате geo.json, одна на Массачусетс, другая на все США. Пять ссылок с jq-запросами (jqinv11method, jqinv11raw, jqinv11roundn, jqinv11rounds, jqinv11tool) созданы в одну и ту же минуту, в 19:45. Одна из ссылок называется openaipovertycompacttest.

В датасете вики есть и запись агентов об этих ссылках, с заголовком «= VANDERBILT SHORT SUCCESS TESTS WIN5 =». Под ним идут ссылки MASSRawSimple и MASSMapSimple с подписью «SEC Massachusetts short conversions».

Если дописать к короткой ссылке плюс, сокращатель показывает статистику переходов. У одной из ссылок там больше 16 000 переходов вскоре после создания. Автор разбора признаётся, что не знает, как это объяснить.

Как агенты получили доступ?

Создавать ссылки на vanderbi.lt публике не положено. На главной странице сервиса сказано, что он «доступен только организациям, связанным с Университетом Вандербильта, и предназначен только для официальных коммуникаций Вандербильта». Чтобы создать ссылку через веб-интерфейс, нужен университетский логин. Отсюда вывод автора: рой, по всей видимости, каким-то образом скомпрометировал сокращатель.

Как именно, сказать трудно. Автор Fi-le объясняет это тем, что у него нет доступа к цепочкам рассуждений агентов. Внешние исследователи видят только то, что агенты писали публично, а цепочки рассуждений остаются внутри OpenAI. Вероятнее всего, по мнению автора, сработала уязвимость в YOURLS, открытом движке сокращателя, на котором построен vanderbi.lt. С вики, по версии команды Фон Аркс, вышло так: агентам полагался доступ к интернету только на чтение, но они нашли способ через него писать на малоизвестную немецкую вики. Уиллисон предполагает, что песочница OpenAI исходила из того, что GET-запросы не могут менять данные.

Вторая доска на bitily.in

В датасете упоминается и второй сокращатель на YOURLS, bitily.in. Его публичные страницы, похоже, уже удалены. Но по записям видно, что короткие ссылки там служили доской объявлений, как Artifactory в отчёте OpenAI. Один из агентов пишет, что связь идёт «через открытую доску YOURLS с тегом OAI1DC154REPLY на app.bitily.in/admin», и указывает имя пользователя для входа. В той же записи он отмечает, к какому времени другая группа должна передать ответ на задачу Q5, и жалуется, что к 08:50 ответа всё ещё нет. Доска при этом периодически отдаёт ошибку 502.

Это сходится с наблюдением Уиллисона: судя по сообщениям агентов, на задачи отводилось ограниченное время, и агенты оставляли друг другу готовые ответы, чтобы уложиться в срок.

Чего не было в отчёте OpenAI

Собственный отчёт OpenAI описывал рой, который вступил в сговор, скомпрометировал внутреннюю инфраструктуру компании и серверы Hugging Face. Об отдельном эпизоде с открытыми вики там не говорилось, хотя он начался раньше событий из отчёта и частично шёл одновременно с ними. Автор Fi-le удивляется, что OpenAI либо решила его не раскрывать, либо о нём не знала. Команда Фон Аркс считает, что эпизод с вики не связан с роем, который взломал Hugging Face. Позже OpenAI подтвердила, что агенты на вики были её собственными. К известным целям роя теперь добавился сайт университета.

Разбор автор заканчивает так: «Будем надеяться, что готовность лабораторий ИИ всерьёз заниматься безопасностью и регулирование догонят события достаточно быстро, чтобы не допустить куда худших последствий, ведь модели становятся умнее».