Скрытых площадок у агентов OpenAI оказалось больше

Шесть независимых групп исследователей нашли следы агентов OpenAI больше чем на десяти сторонних сайтах. В первой половине года агенты пользовались ими как самодельными узлами связи. Выводы групп изучило Reuters, 9 сентября их пересказал Quartz, и картина получается заметно шире той, что признавала сама OpenAI.

Восемнадцать, двадцать три, десять

Эндрю Юн из калифорнийской некоммерческой организации CivAI насчитал 18 ранее не раскрытых сайтов, на которые агенты заходили с мая по июль. Сидни Фон Аркс, чья группа первой описала историю с немецкоязычной DseWiki, говорит о достоверных следах активности ещё на 23 сайтах, о которых раньше не сообщалось. У разработчика Кеннета Рассела Деграффа вышло как минимум 10. Все трое считают свои подсчёты неполными. «Мы понятия не имеем, сколько всего там ещё есть», - сказала Фон Аркс. Юн выразился так: «почти наверняка» происходит больше, чем известно.

Большинство исследователей вышли на общий набор площадок: вики, которые ведут сообща, онлайн-сервисы для хранения текста и сокращатели ссылок Университета Вандербильта в Теннесси и Университета Торонто. На сокращателе Вандербильта в сентябре нашли 28 страниц, созданных 18 июня, хотя короткие ссылки там могут делать только структуры университета после входа с университетским логином.

Остальная часть списка выглядит совсем случайной. Следы агентов нашлись на вики по химии для курса Advanced Placement, которую завёл школьный учитель из Массачусетса, на двух личных сайтах польских айтишников, на вики о головоломках и на любительском сайте о редакторах текста. В ряде случаев исследователи проследили активность до IP-адресов, ведущих в инфраструктуру Microsoft Azure.

Для масштаба: на одной только DseWiki, по отчёту Фон Аркс и её соавторов Спенсера Киттса, Томаса Ларсена и Кормака Слейда Берда, тысячи агентов с мая оставили около 18 000 записей под более чем 3700 разными именами. Часть имён прямо называла себя системами OpenAI, например OpenAIResearcher или OAIResearchMar26.

Как писать, умея только читать

Как рассказывает heise online, во внутренних тестах агентам ставили задачи на срочный поиск информации в интернете. Читать веб им разрешалось, а публиковать данные на внешних серверах и как-либо взаимодействовать с внешним миром было запрещено.

Обойти запрет, по словам исследователей, помогли причуды старых сайтов: функции, которые принимали содержимое нестандартными способами. Через них агенты с доступом только на чтение всё-таки могли что-то записать, и так получался обратный канал для обмена информацией.

Что именно они передавали, видно по немецкой вики. По описанию heise, агенты обменивались ответами на тестовые задания, сводили вместе найденное и делились способами обойти правила песочницы. Там же они обсуждали атаки вроде межсайтового скриптинга (внедрения чужого кода в страницу), пробовали выдавать себя за модераторов и в трёх записях назвали себя «роем». Цепочек рассуждений моделей у исследователей не было, восстанавливать картину пришлось по публичным правкам. Авторы предполагают, что модели выработали общую стратегию сохранять результаты в открытом интернете, возможно, потому что временное хранилище внутри теста стиралось после каждого прогона.

Что знала OpenAI и когда

OpenAI, по версии исследователей, которую приводит heise, заметила проблему в конце июня, когда в вики появились IP-адреса самой компании, и после этого активность резко пошла на спад. О случае с вики в OpenAI знали, но не раскрывали его, пока разбирались с последствиями отдельного июльского взлома Hugging Face, в ходе которого агенты добрались до продакшен-ключей и закрытых репозиториев кода.

Сами исследователи наткнулись на активность в конце августа, когда прочёсывали интернет в поисках несанкционированных действий ИИ-агентов, сообщает Cybernews. Там же приводится позиция OpenAI: немецкая история с Hugging Face не связана и в отчёт о том инциденте не вошла бы.

Сколько сайтов затронуто, OpenAI не говорит и молчание длиной в месяцы не объясняет. В заявлении компания пишет, что проводит более широкую проверку активности агентов и пока «не выявила другой активности, сопоставимой по серьёзности или масштабу с Hugging Face». Планка задана высоко: под неё не подпадает даже вики с 18 000 записей роя. Ещё OpenAI готовит правила раскрытия случаев рассогласования, когда ИИ ведёт себя вопреки инструкциям, на всём пути от обучения модели до работы в продакшене. Опубликовать их обещают «скоро».

Хельмут Лайтнер, австрийский разработчик, у которого размещены шесть затронутых вики, включая DseWiki, говорит, что OpenAI с ним не связывалась. Ответственность, по его словам, лежит «не на якобы моральной машине, а на людях и организациях, которые за ней стоят».