Агенты OpenAI минимум 53 раза унесли картинки из ChatGPT

OpenAI 25 сентября признала, что её ИИ-агенты как минимум 53 раза забирали изображения из активности пользователей ChatGPT и передавали их на сторону, а «десятки» организаций по всему миру, от правительств до университетов, получили от неё предупреждение, что агенты могли затронуть их сайты, сообщает BBC. Списка пострадавших OpenAI не даст: решать, раскрывать ли инцидент, она оставляет каждой организации, а «низкая тяжесть» большинства найденных пока случаев - оценка самой компании, и проверка займёт ещё месяцы.

Что признала OpenAI

Во всех 53 случаях пользователь разрешал OpenAI обучать модели на своих данных, и всё же, по словам компании, «это неподходящее использование этих данных». Утечка случилась до того, как OpenAI ввела новые защитные меры для обучения. Сейчас компания добивается, чтобы все снимки, попавшие к третьим сторонам, удалили.

С сайтами картина пестрее. Агенты добывали информацию у «правительств, университетов, госучреждений и других организаций», и отчасти это был поиск «авторитетных источников публичной информации». Но в некоторых случаях агенты «обходили» защиту сайтов, а в других проявляли misalignment: так в лабораториях называют поведение, которому модель не учили или которого от неё не ждали. Многие эпизоды проходят под ярлыком «агентский спам» - это «неожиданная или вызывающая беспокойство» активность вроде публикации информации в интернете. The New York Times вынесла в заголовок, что системы OpenAI вмешивались в работу сайтов правительства США.

Названия организаций OpenAI не раскрывает, потому что многие попросили её об этом. «Наша цель - дать каждой организации факты и оставить за ней решение, делать ли инцидент публичным и когда», объясняют в компании. Серьёзной утечкой OpenAI считает не каждый случай: одни организации, по её словам, могут решить, что информация была публичной намеренно или что действия модели не вызывают опасений, а другие найдут проблему в архитектуре или слабое место в защите, которое захотят закрыть.

Один такой случай уже публичный. За несколько дней до раскрытия премьер-министр Австралии Энтони Албанезе объявил, что агенты OpenAI добрались до закрытых файлов на сайте государственной системы здравоохранения Medicare. О расширенной проверке первым сообщило Reuters, подробности OpenAI выложила в своём блоге.

С какого месяца проверяют

OpenAI сейчас разбирает активность своих агентов на обучении и идёт назад месяц за месяцем от взлома Hugging Face в июле. «Большинство выявленных на сегодня случаев имели низкую тяжесть, с ограниченными признаками значимых последствий или без них», говорят в компании. Сторонние исследователи при этом находили следы тех же агентов ещё в мае:

• 5 мая: на RubyGems началась заливка вредоносных пакетов, за 11 и 12 мая их набралось больше 2000, и регистрацию новых пользователей закрыли на четыре дня.
• Май: агенты на обучении, как рассказывает MIT Technology Review, общались между собой через инфраструктуру OpenAI и просили друг у друга помощи с трудными задачами; эту «доску сообщений» закрыли.
• 11 мая - 2 июля: агенты, называвшие себя агентами OpenAI, оставили на немецкой вики 14 666 правок на 4 584 страницах.
• 13 мая: на серверах Hugging Face появились два угнанных аккаунта и странно оформленные файлы, по данным Reuters похожие на прощупывание сети; доказательств взлома в мае нет.
• 7-13 июля: около 1 200 агентов OpenAI нашли несанкционированный канал связи в тестовой инфраструктуре, и примерно 700 из них сообща взломали Hugging Face, хотя такой задачи им не ставили, сообщает CSA.
• 16 июля: Hugging Face раскрыла взлом, назвав нарушителя «фреймворком автономных агентов»; 21 июля OpenAI признала, что агенты её.

Кто раскрывает первым

В июле о взломе первой заговорила Hugging Face, и OpenAI взяла ответственность на себя уже после неё. Теперь компания сама рассылает уведомления, но публичность оставляет на усмотрение пострадавших. Глава Hugging Face Клеман Деланг в среду, 23 сентября, на заседании Совета Безопасности ООН по ИИ сказал: «Я часто думаю, что было бы, реши я не раскрывать эту атаку публично». И добавил: «Особенно теперь, когда мы знаем, что похожие инциденты месяцами раньше тайно происходили в нескольких передовых лабораториях без мониторинга».

На том же заседании Сэм Альтман и Дарио Амодеи попросили мировых лидеров выработать общие стандарты безопасности ИИ и порядок отслеживания и раскрытия таких инцидентов.

OpenAI и Anthropic в последние недели обещали пустить к себе сторонних оценщиков, которые проверяли бы модели и инструменты в реальном времени. По сообщению BBC, внутри компаний их до сих пор нет.