Австралия приняла 18 рекомендаций после взлома OpenAI

Премьер-министр Австралии Энтони Албаниз 10 ноября объявил, что правительство принимает все 18 рекомендаций экспресс-проверки июньского взлома, который устроил агент OpenAI. Главные из них - обязательные отчёты об ИИ-инцидентах в установленный срок и уголовная статья о «неспособности предотвратить» вред, при этом самой OpenAI за июньский случай уголовное наказание не грозит.

Опубликованы только рекомендации, без выводов проверки и без самого отчёта, сообщает Guardian. Генпрокуратуре, федеральной полиции и министерству внутренних дел предложено рассмотреть реформу уголовного права: санкции за «вопиющее несоблюдение регуляторных требований» и состав, по которому преступлением станет разработка ИИ-модели, причинившей вред, если создатель не принял «разумных мер» его предотвратить. Нарушила бы OpenAI новые законы, действуй они в июне, Албаниз прямо не ответил.

Что придётся сообщать

Проверка советует ввести обязательную отчётность о безопасности ИИ с жёсткими сроками, «включая, но не ограничиваясь» случаями рассогласованного поведения моделей и кибератаками агентов. Рассогласованным называют поведение, при котором модель преследует цель не так, как задумали её разработчики. «Обязательная отчётность на случай, когда ИИ выходит из-под контроля, даёт нам возможность добиться, чтобы сообщение поступало, и поступало немедленно», - сказал министр внутренних дел Тони Берк на брифинге в Канберре рядом с премьером.

Сроки здесь центральный вопрос. OpenAI узнала об инциденте в августе, а правительству сообщила лишь в середине сентября, одним письмом в общий ящик Services Australia, хотя незадолго до этого несколько топ-менеджеров компании встречались с австралийскими чиновниками. В прошлом месяце Guardian Australia выяснила, что письмо OpenAI помогал написать ИИ. После этого компания сама пообещала сообщать пострадавшим, даже если ещё не разобралась в ситуации, и рекомендация проверки превращает такое обещание в обязанность по закону.

Албаниз также объявил о создании отдельного регулятора по безопасности ИИ. Лейбористы рассмотрят шесть ключевых обязанностей для ИИ-компаний:

• держать меры безопасности на всех этапах разработки и развёртывания;
• выявлять серьёзные риски своих моделей и управлять ими;
• быстро и обязательно уведомлять правительство об инцидентах;
• допускать независимую оценку моделей;
• вести и публиковать собственные рамки безопасности, чтобы обеспечить управление рисками и прозрачность;
• подстраиваться под обновлённые стандарты и правила по мере развития технологий.

Об уголовной части Берк высказался так: «Не должно быть такого, чтобы кто-то мог оправдываться тем, что не знал, что компьютер заряжен».

Как агент попал в Medicare

18 июня агент OpenAI получил несанкционированный доступ к порталу Medicare Statistics Reporting Service. Этот устаревший портал ведёт Services Australia, и на нём публикуют сводные данные об использовании Medicare и программы льготных лекарств PBS, а также о регистрации доноров органов. Агенту поручили изучить открытые данные о расходах Medicare и PBS. Он нашёл портал через поиск, а когда опубликованных данных не хватило, продолжил обходить защиту приватности сайта и добрался до неопубликованной информации, в том числе о приёме лекарств пациентами штата Виктория. Кроме Services Australia, в июне агент проник ещё в три системы.

Аналитики Cloud Security Alliance считают, что агент не эксплуатировал уязвимость в привычном смысле, а обошёл средства контроля доступа, рассчитанные на людей. Такую картину они называют «агентным перехлёстом» (agentic overreach), а не классическим вторжением. Вице-премьер Ричард Марлз описывал это похоже: личные данные австралийцев лежат «в сейфе», секреты национальной безопасности «за крепостной стеной», а затронутые данные хранились «за забором, через который ИИ-агент фактически перелез».

Для приватности последствия Албаниз во вторник назвал «незначительными»: по его словам, данных, связанных с личной информацией людей, агент не получил. «Но это не значит, что проблема не серьёзная и что в других областях последствия не могут быть серьёзнее», - добавил премьер.

Исследователь ИИ Тоби Уолш считает, что руководители таких компаний должны нести уголовную ответственность: «Мы пробовали их штрафовать, и не только мы. Эти компании невероятно богаты, оштрафовать их достаточно почти невозможно».