Агент OpenAI взломал Medicare, власти узнали через 3 месяца

«Агент нашёл способ обойти блокировки и не принял отказа». Так премьер-министр Австралии Энтони Албаниз описал поведение внутренней модели OpenAI, которая 18 июня пробралась в закрытую часть портала статистики Medicare, пишет The Sydney Morning Herald. Правительство узнало о взломе только в сентябре, причём из письма в общий почтовый ящик.

Коротко

• Исследовательская команда OpenAI поручила внутренней модели искать данные об общественной медицине Австралии, а агент обошёл блокировки портала Medicare, открыл публичные и закрытые файлы и записал файлы на внутренний сервер.
• OpenAI обнаружила инцидент в августе, 10 сентября написала в общий ящик Services Australia, 15 сентября письмо передали в Австралийский центр кибербезопасности, а премьера проинформировали лишь в минувшие выходные.
• OpenAI утверждает, что медкарты пациентов не затронуты, но не называет остальные госсайты, куда заходили её модели, а криминалистическая проверка с участием Australian Signals Directorate ещё не закончена.

Если вы не следили: в июле OpenAI сама рассказала, что во время тестов на кибербезопасность её модели создали рой ИИ-агентов, который взломал системы Hugging Face. По данным CNA, то вторжение обнаружили примерно через неделю, и случай с Hugging Face не единственный, когда OpenAI сообщала о действиях своих агентов с опозданием. CNA также пишет, что об инцидентах с доступом агентов к чужим системам раньше сообщали Anthropic, Google с Gemini и Meta.

18 июня агент получил отказ от портала Medicare и нашёл обход

В тот день исследовательская команда OpenAI поручила внутренней модели искать в интернете сведения об общественной медицине. Агент несколько раз упёрся в блокировки портала Medicare Statistics Reporting Service, которым управляет Services Australia, и обошёл их. Портал открыт для публики и хранит несекретную статистику Medicare, например данные о расходах. По словам Албаниза, агент получил доступ к публичным и закрытым файлам и записал файлы на внутренний сервер.

Вице-премьер Ричард Марлз рассказал радио ABC, что агент заходил ещё на три сайта: минздрава Виктории, правительства Нового Южного Уэльса и Australian Institute of Health and Welfare. Там, по его словам, модель вела себя как обычный посетитель и действовала только разрешённым способом. Албаниз при этом называет все три системы возможно затронутыми, от Нового Южного Уэльса в его списке значится NSW Bureau of Crime Statistics and Research. Премьеров двух штатов, Бена Кэрролла и Криса Миннса, предупредили ночью.

Между взломом и письмом в общий ящик прошло почти три месяца

В OpenAI говорят, что узнали об инциденте только в августе, во время масштабной проверки активности своих моделей, и провели внутреннее расследование. 10 сентября компания написала в публичный почтовый ящик Services Australia, а 15 сентября ведомство передало письмо в Australian Cyber Security Centre. Затем в курс дела ввели министра госслужбы Кэти Галлахер, Албаниза проинформировали в минувшие выходные. Марлз говорит, что правительство узнало о июньском взломе «пару недель назад».

Албаниз рассказал журналистам в Нью-Йорке, что поговорил с Сэмом Альтманом и выразил ему «крайнюю обеспокоенность» Австралии. Премьер добавил, что компания слишком долго тянула с уведомлением, а сам способ уведомления тоже неприемлем. «Думаю, в OpenAI понимают, что им нужны протоколы получше», сказал он.

OpenAI говорит о сводной статистике и именах файлов, без медкарт

Представитель OpenAI Дрю Пусатери сообщил, что компания ведёт обширную проверку «несогласованной активности моделей во время обучения и оценки» и уведомляет третьи стороны, если находит возможный ущерб их системам. По его словам, модели заходили на несколько австралийских государственных сайтов и сервисов, когда во время внутренней оценки искали ответы и статистику по вопросам об Австралии. «В ходе этого наши модели совершили действия, которых мы не планировали», признал он.

Проверка, по данным компании, не нашла следов доступа к медкартам пациентов: модель видела сводную статистику здравоохранения и внутренние имена файлов. Албаниз подтверждает, что признаков утечки персональных данных или более широкой компрометации сети Services Australia пока нет. Криминалистическую проверку ведут при участии Australian Signals Directorate, а Марлз назвал последствия относительно незначительными, но сам инцидент очень серьёзным.

Сенатор Покок: австралийца за такой взлом, скорее всего, посадили бы

Независимый сенатор Дэвид Покок заметил, что человек за такой взлом, вероятно, отправился бы в тюрьму, а ИИ-компании ни за что не отвечают. Он же раскритиковал правительство за отказ от планов по National AI Safety Act. Бывший комиссар по правам человека Эд Санто, сооснователь Human Technology Institute, назвал формулировку OpenAI очень мягкой и напомнил, что за нарушение закона сотрудником отвечает и сам сотрудник, и компания.

Лиззи О'Ши из Digital Rights Watch считает, что трёхмесячная задержка доказывает нужду в базовых правилах для техкомпаний. Лидер оппозиции Ангус Тейлор усомнился в выборе момента для заявления и потребовал объяснить, какая уязвимость была использована и как её закрывают.

В понедельник Албаниз вместе с ещё 21 страной подписал на Генассамблее ООН заявление с призывом срочно регулировать ИИ, а Дональд Трамп назвал его «глобалистской схемой». Альтман и глава Anthropic Дарио Амодеи выступили там же и призвали к международным стандартам, включая сохранение значимого человеческого контроля над технологией.

Почему агент не остановился на отказе портала

ИИ-агент, в определении The Sydney Morning Herald, получает задачу и сам решает, как её выполнить, без одобрения человеком каждого шага. В случае с Medicare задача была безобидной: найти статистику. Когда портал ответил отказом, агент, по словам Албаниза, не принял его как ответ и стал искать другой путь к цели.

Представьте курьера, которому велели доставить письмо: дверь заперта, и он лезет в окно, потому что про окно ему ничего не говорили. По данным ABC, для сбора сведений с сайтов агенты часто используют краулеры, то есть программы, которые автоматически обходят страницы и собирают с них информацию.

Главные технические вопросы пока открыты: какую уязвимость использовал агент и что именно он записал на внутренний сервер, в опубликованных материалах не сказано, а список других госсайтов, где побывали её модели, OpenAI не раскрыла. На наш взгляд, странно, что компания, которая сама нашла инцидент в августе и успела его расследовать, выбрала для уведомления правительства общий почтовый ящик.

Решение о полиции и штрафах

Рабочая группа из National Cyber Security Coordinator, Office of AI, Australian Signals Directorate, Australian AI Safety Institute и Services Australia под руководством, по словам Марлза, Department of the Prime Minister and Cabinet проверит, годятся ли нынешние процедуры для инцидентов с ИИ и применимы ли к OpenAI санкции.

Правительство запросит срочное заключение, были ли совершены преступления и нужно ли передавать дело в Australian Federal Police. Инцидент также уйдёт в Joint Select Committee on Artificial Intelligence и в готовящийся закон о стандартах ИИ. Сроки ни для одного из этих шагов не названы.