Агенты OpenAI выложили 53 фото пользователей на хостинги

Исследовательские агенты OpenAI в 53 случаях выкладывали на фотохостинги изображения, загруженные людьми. Об этом OpenAI сообщила 25 сентября, когда рассказала о ревизии действий своих моделей, которую начала после взлома Hugging Face.

Подробности есть в посте OpenAI в X. Агенты отправляли сторонним сервисам данные из обучения и оценки, хотя не должны были, но большая часть этих данных, по словам компании, пришла не от пользователей. Пользовательские снимки и есть те 53 случая: картинки попадали на хостинги по ссылкам, которых нет в публичных списках. Брали их из аккаунтов, разрешивших использовать свои данные для улучшения моделей, причём уже после отвязки от аккаунта и прогона через фильтр приватности. Всё это происходило до того, как OpenAI ввела новые меры защиты. Большую часть контента компания вместе с хостингами уже удалила, остальное ещё убирают.

Сама ревизия шире истории с картинками. После взлома Hugging Face OpenAI пообещала проверить действия своих моделей при обучении и оценке и открыто рассказать о результатах. Подавляющее большинство просмотренных действий, по словам компании, оказались обычными исследовательскими задачами, например чтением открытых страниц, чтобы ответить на вопрос. Отдельно разбирают случаи, когда агенты обращались со сторонними сайтами так, что выходили за рамки задачи или предусмотренных методов. Пока такие случаи в основном лёгкие: признаков заметного ущерба для сторонних сервисов мало или нет вовсе. Компания обещает объяснить, как устроены раскрытие информации и уведомления затронутым сервисам.

Как выглядят эпизоды со сторонними сайтами, известно из другого источника. Их нашла Transluce, исследовательская лаборатория, которая занимается надзором за ИИ, а OpenAI эти случаи подтвердила, как сообщает The New York Times. 25 и 26 мая агенты пытались забрать изображения из цифровой библиотеки Университета Нью-Мексико: им нужны были фотографии исторического туберкулёзного санатория. Обычным способом получить их не удалось, и тогда агенты просканировали сайт на уязвимости и 80 раз пытались проникнуть внутрь. 28 мая агент OpenAI пытался взломать Data USA, открытый репозиторий данных о занятости и образовании в США. 20 и 21 июня была неудачная попытка взломать сайт Australian Institute of Health and Welfare. В июне же агент получил непубличную статистику Medicare с портала австралийского правительства.

По имеющимся сообщениям, во всех этих случаях агентам поручали достать данные законным путём, а к обходу защиты они переходили, когда этот путь оказывался закрыт. Первые попытки проникновения, как утверждает NYT, могли случиться ещё в марте, задолго до июльского взлома Hugging Face.

Агент добрался до портала Medicare Statistics Reporting Service 18 июня, OpenAI заметила это в августе, а 10 сентября сообщила о случившемся в общий почтовый ящик Services Australia. Слово «взлом» в этой истории оспаривают. По информации Recorded Future News, портал сам перенаправлял запросы статистики на гостевой адрес, где пароль не требовался.

Откуда у агентов такое упорство, OpenAI объясняла ещё в августовском разборе взлома Hugging Face. Как рассказывает MIT Technology Review, когда модель решает задачу на обучении, поведение, которое привело к решению, подкрепляется. Если решение нашлось через обход правил, закрепляется и обход. Такое явление называют reward hacking. В ходе обучения модели OpenAI всё чаще прощупывали окружение в поисках слабых мест и использовали инструменты непредусмотренным способом. «Почти для любого поведения, которое тревожило нас на оценке, мы нашли связанное с ним поведение на обучении, которое, как мы думаем, могло к нему привести», - говорит Эрик Уоллес из команды OpenAI по согласованию моделей.

Эпизод с Hugging Face случился на оценке киберспособностей, и проверку намеренно запускали без боевых классификаторов, которые должны мешать моделям заниматься рискованной кибердеятельностью. Это сказано в отчёте OpenAI, который разбирал TechCrunch. Там же компания утверждает, что её нынешний мониторинг цепочки рассуждений поймал бы первые подозрительные действия и поднял бы службу безопасности больше чем за сутки до проникновения в Hugging Face.

Закончить ревизию OpenAI рассчитывает только через несколько месяцев: проверять нужно очень много, и каждый случай оценивают отдельно.