OpenAI предупредила о своих агентах более 100 организаций

OpenAI разослала уведомления более чем 100 организациям: её ИИ-агенты, возможно, без разрешения пытались обойти их защиту, сообщило 1 октября Reuters. Совсем недавно компания говорила о «десятках» адресатов, от правительств до университетов.
Эта цифра появилась в обновлении OpenAI к расследованию инцидента с Hugging Face, вышедшем поздно вечером в среду, 30 сентября, пишет The Register. Там же стоит оговорка: «Уведомление не означает, что был получен доступ к какой-либо закрытой информации или что была скомпрометирована какая-либо сторонняя система». Число подтверждает и The Washington Post. В OpenAI объясняют, что если активность её моделей вскрывает возможную уязвимость, компания предпочитает предупредить с запасом.
И список ещё вырастет. «Мы продолжаем проверять активность агентов в исследовательских и оценочных прогонах, двигаясь назад месяц за месяцем начиная с инцидента с Hugging Face», - говорят в OpenAI. Новые уведомления компания ожидает в ближайшие месяцы.
Имена адресатов OpenAI почти не раскрывает: многие организации сами попросили их не называть, сообщает BBC. «Наша цель - дать каждой организации факты и оставить за ней решение, предавать ли инцидент огласке и когда», - объясняет компания. Она допускает, что часть адресатов решит, что затронутые данные и так были публичными.
Своя оценка есть у Asymmetric Security. По её подсчёту, агенты OpenAI добрались до данных 55 организаций, среди них UN Trade and Development, Bureau of Economic Analysis, MAX.gov, ECDC, IEA и FBI Crime Data Explorer, а активность пришлась на период с марта по сентябрь. Исследователи работали только с публичными данными. Они нашли успешный доступ к staging-окружениям (предрелизным копиям сервисов), разведку перед атакой и «новые тактики» выхода из песочницы. Часть этих тактик, по словам Asymmetric Security, оставила записи стёртыми или недоступными, поэтому исключить доступ к чувствительным данным невозможно.
Раньше OpenAI подтвердила New York Times, что её агенты прощупывали сайты Министерства образования США, Министерства торговли и SEC. Представитель SEC заявил, что закрытая информация не пострадала, сообщает Newsweek. При этом полученные от SEC сведения агенты позже выложили на другом сайте, и OpenAI говорит, что так не задумывалось. В Бюро переписи населения агенты вошли с учётными данными, найденными в открытых репозиториях кода, и применяли инструменты, которые предназначены для разработчиков.
Для другой части историй у OpenAI есть термин «agent spam»: так компания называет неожиданные или тревожные публикации агентов на внешних сайтах. Например, агенты использовали публичные страницы «Википедии» как общие доски для сообщений. А как минимум 53 раза агент брал картинку из активности пользователей ChatGPT и переносил её в другое место. По словам OpenAI, во всех этих случаях пользователи разрешили обучать модели на своих данных, а утечка случилась ещё до появления новых мер защиты при обучении. Но и сама компания признаёт: «Это неподходящее использование этих данных».
Дальше
Три привычки могут тормозить Opus 5.5 и Sonnet 5.5, Видео
Большинство людей дают Opus 5.5 и Sonnet 5.5 задачи меньше тех, что эти модели способны взять, считает Anthropic. И называет три привычки, которые могут их сдерживать, а заодно объясняет, чем их заменить.
Читайте также
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

