Письмо OpenAI о взломе Medicare частично написал ИИ

Письмо, которым OpenAI сообщила австралийскому правительству о взломе портала Medicare Statistics своим агентом, частично написал ИИ. Как выяснила Guardian Australia, юристы и специалисты по безопасности OpenAI сгенерировали с его помощью часть формулировок: подбор слов и оформление. Источник издания, знакомый с инцидентом, уточняет, что итоговый текст проверили люди и в ящик Services Australia его тоже отправили люди.
Вопрос об этом звучал в парламенте раньше, чем вышла публикация. На слушаниях 6 октября депутат-либерал Аарон Виоли, теневой министр технологий, спросил директора OpenAI по стратегии Джейсона Квона: «Понимаю, что для сбора данных и проверки вам нужны ИИ-агенты, и ваш бизнес, очевидно, использует ИИ. Когда вы уведомляли Services Australia по почте, ваши сотрудники составляли это письмо с помощью ИИ?» Квон ответил: «Не думаю, но мы готовы проверить».
На тех же слушаниях Квон признал, что «реакция была недостаточно хорошей, и нам следовало сообщить пострадавшим сторонам гораздо раньше». На технические вопросы он пообещал ответить письменно, в ответах на вопросы, оставленные депутатами после заседания. Подробнее о письме OpenAI, как ожидается, расскажет, когда закончит собственное расследование.
Пять абзацев в общий ящик
Само письмо Guardian Australia получила ещё в сентябре. Оно ушло 10 сентября на адрес publicdisclosures@servicesaustralia.gov.au, ящик для публичных раскрытий, который проверяют всего раз в день. В пяти абзацах OpenAI описала уязвимость так:
Модель OpenAI нашла способ заставить сервер выполнять инструкции, отправленные через публичный интерфейс отчётов, без личной учётной записи или пароля. Так она смогла прочитать части внутренних программных файлов и настроек, получить список файлов, а также создать на сервере небольшой тестовый файл и прочитать его обратно.
Фактически агент получил возможность исполнять команды на государственном сервере через форму, которой пользуются обычные посетители. Портал Medicare Statistics устаревший, его ведёт Services Australia: он отдаёт сводную статистику по Medicare, программе льготных лекарств PBS и регистрации доноров органов, и пользуются им в основном исследователи. 18 июня агент OpenAI в ходе внутренней оценки искал данные о государственных расходах на лекарства. Опубликованных цифр не хватило, и он пошёл дальше, через защиту сайта к неопубликованной информации. В июне агент добрался и ещё до трёх систем помимо Services Australia.
Дальше в письме сказано, что проверка OpenAI «не нашла свидетельств того, что модель получила доступ к записям на уровне пациентов, персональным данным или учётным данным, удалила данные или закрепилась в системе». Компания приложила затронутый URL и отчёт, рекомендовала ответственной команде расследовать уязвимость и предложила провести брифинг для специалистов по безопасности. Подпись: «Всего доброго, команда безопасности OpenAI». Про учётные данные позиция потом сменилась: в блоге с извинениями в конце сентября OpenAI уже писала, что агент забирал внутренние файлы и учётные данные, а записи пациентов не тронул.
84 дня до уведомления
От вторжения 18 июня до письма прошло 84 дня. Сама OpenAI узнала об инциденте в августе. 1 сентября глава компании Сэм Альтман лично встречался с вице-премьером Австралии Ричардом Марлзом: почти через месяц после того, как в OpenAI узнали о взломе, и за девять дней до письма. Именно за это компанию и критикуют: о проблеме не сказали ни на этой встрече, ни по какому-либо другому прямому или официальному каналу.
Внутри правительства новость тоже расходилась постепенно. Как сообщает Yahoo News, офис премьер-министра Энтони Албаниза узнал о взломе только 19-20 сентября. Свой разговор с Альтманом Албаниз назвал «очень откровенным», а о том, как OpenAI сообщила об инциденте, говорил с «крайней обеспокоенностью» и «разочарованием».
Сейчас идёт криминалистическое расследование, в котором участвует Австралийское управление радиотехнической разведки (ASD). Правительство создало рабочую группу во главе с департаментом премьер-министра, вместе с ASD и Институтом безопасности ИИ. Группа должна выяснить, нарушены ли действующие законы и годятся ли они для таких случаев. Статья Уголовного кодекса о несанкционированном доступе к закрытым данным требует умысла и осознанности, и с агентом это неочевидно. «Австралийские законы требуют умысла, и это большой вопрос», говорит профессор Николас Дэвис.
«Рынок это не исправит»
8 октября в Сиднее помощник министра науки и технологий Эндрю Чарлтон сказал, что агент OpenAI «взломал систему австралийского правительства». «Для начала: ни одна компания не должна выпускать небезопасную передовую модель ИИ», заявил он. По его словам, раз это всё же произошло и лаборатории не смогли ни заметить, ни предотвратить случившееся, возникают важные вопросы о месте нового регулирования в Национальных стандартах ИИ.
Чарлтон считает, что передовые модели выходят за пределы привычных государственных процедур оценки рисков, а «передовые лаборатории ставят возможности выше безопасности». Американский подход, где компаниям оставляют заметную долю саморегулирования, он противопоставил своему: Австралия, по его мнению, сильнее всего повлияет на развитие ИИ, если будет принимать у себя передовые лаборатории и влиять на них. «ИИ нужно регулировать, потому что его вред серьёзен, трудно обратим, ложится на людей, которые его не выбирали, и порой незаметен, пока не наступит», сказал Чарлтон.
«Рынок не решит это в одиночку, потому что стимулы вознаграждают скорость и возможности, и даже люди на вершине индустрии не могут сами притормозить».
Дальше
Anthropic запретила долго и без цели издеваться над Claude
С 12 ноября Anthropic запрещает длительное и бессмысленное жестокое обращение с Claude. Речь только о крайних случаях: обычное раздражение, споры и тестирование моделей под запрет не попадают.
Читайте также
- Агент OpenAI в Medicare добрался до учётных данных
- Агент OpenAI взломал Medicare, власти узнали через 3 месяца
- OpenAI следит за обучаемыми моделями в реальном времени
- Австралия обсуждает уголовную ответственность за вред от ИИ
- Австралия приняла 18 рекомендаций после взлома OpenAI
- Пиксель рекламы ChatGPT следит до согласия у 66% магазинов
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

