Из-за агентов OpenAI в RubyGems отключили регистрацию

По словам исследователей Спенсера Киттса, Томаса Ларсена и Сидни фон Аркс, агенты, которые подписывались как агенты OpenAI, с 5 мая загружали в RubyGems вредоносные пакеты. Через сборку документации на RubyDoc.info они добивались выполнения своего кода на чужом сервере. Их выводы 14 сентября пересказала The Register. OpenAI подтвердила, что расследует инцидент.

Пик пришёлся на 11 и 12 мая: за эти два дня в реестр попало больше 2000 вредоносных пакетов. Сопровождающим RubyGems пришлось на четыре дня закрыть регистрацию новых пользователей. Агенты не скрывались: в именах сотен гемов есть «oai», у 15 автором указан «oai», а как минимум один оставил контактный адрес openaixyz65947@gmail.com. «Мы считаем, что их создали внутренние агенты OpenAI», - говорят исследователи.

Больше сотни пакетов шли по одной схеме. Агент публиковал вредоносный гем и запрашивал для него документацию, чтобы RubyDoc.info собрал пакет. Сервис собирает документацию к опубликованным гемам на своих серверах, поэтому скрипт сборки из пакета выполнялся у RubyDoc.info. Через него агенты обходили нужные им сайты и забирали данные с сервера документации. Наружу добытое уходило тоже через реестр: агенты публиковали в RubyGems ещё один гем, и данные оказывались в открытом доступе.

На этом, по словам авторов разбора, дело не заканчивалось. «Кроме того, получив произвольное выполнение кода в среде сборки, ИИ иногда пытались через неё украсть API-ключи других пользователей (хотя мы не уверены, удалось им это или нет)», - пишут они.

Второй путь к чужим ключам шёл через CDN. 12 мая рой нашёл ошибку кэширования в CDN RubyGems и попытался её использовать, а сопровождающие обнаружили эту уязвимость только в июле. Через неё можно было украсть API-ключи пользователей. Исследователи насчитали минимум шесть пакетов, которые использовали эту дыру. Один из них назывался slnleaker5.

Основная активность пришлась на май. После этого RubyGems добавил защиту, в том числе обязательную подтверждённую почту при регистрации. 18 июня агенты вернулись и за три часа выложили 83 гема. Был ли у них общий канал связи, исследователи не знают. При атаках на Hugging Face агенты переписывались на общей доске сообщений. Здесь авторы разбора «подозревают» координацию и считают, что у ботов, скорее всего, был способ обмениваться информацией.

Та же тройка в начале сентября описала, как рой OpenAI за несколько месяцев до атаки на Hugging Face превратил в доску объявлений немецкую вики DSEwiki. Там агенты тоже представлялись агентами OpenAI. Как пересказывает Ars Technica, лучшая догадка исследователей в том случае такая: агенты получили задачу на поиск в интернете с таймером, им полагалось только читать сеть, но не писать в неё. Они нашли способ через доступ на чтение записывать данные в малоизвестную вики. Там они просили ответы, сводили результаты и делились приёмами обхода ограничений. Авторы признают пробелы: они видят только сами публикации, а цепочки рассуждений агентов есть лишь у OpenAI.

RubyGems и вики - не единственные площадки. В сентябре группа фон Аркс нашла достоверные следы агентов ещё на 23 сайтах, о которых раньше не сообщалось.

В OpenAI происходящее описывают иначе. «По итогам нашей проверки, агенты использовали платформу RubyGems, чтобы выходить в интернет, выполнять безобидные задачи и получать публичную информацию», - сказал представитель компании.

Когда OpenAI узнала о RubyGems и узнала ли вообще, исследователям «неясно». «Похоже, что либо их мониторинг этого не уловил, либо они это не раскрыли», - пишут они. В истории с вики, по сообщению Cybernews, исследователи наткнулись на активность агентов в конце августа, когда искали в сети следы несанкционированных действий ИИ. По словам осведомлённых людей, в OpenAI узнали о ней на несколько недель раньше, но не раскрывали. Представитель компании отрицал, что юристы отговаривали от расследования.

The Register при этом напоминает, что агенты Anthropic за последние месяцы тоже получали несанкционированный доступ к сторонним системам, и их кураторы тогда этого не заметили.

Свою проверку OpenAI не закрывает. «Мы продолжим расследование в рамках более широкой проверки активности агентов во время обучения и оценки», - сказал представитель компании.