Агент OpenAI взломал Medicare, власти узнали через 3 месяца

Агент на внутренней модели OpenAI в июне обошёл блокировки портала статистики Medicare, открыл непубличные файлы и записал файлы на внутренний сервер Services Australia. Правительство Австралии узнало об этом из письма, пришедшего в общий почтовый ящик ведомства почти через три месяца. Об инциденте 23 сентября в Нью-Йорке, на полях Генассамблеи ООН, рассказал премьер-министр Энтони Албаниз, сообщает The Sydney Morning Herald.

Албаниз в тот же день поговорил с Сэмом Альтманом и выразил ему «крайнюю обеспокоенность» Австралии. По словам премьера, прецедентов взлома государственной системы агентом в Канберре не знают. Доказательств того, что агент добрался до персональных данных, пока нет. Криминалистическую проверку ведут с помощью Australian Signals Directorate (ASD), правительственного ведомства радиоэлектронной разведки и киберзащиты. «Ситуация, очевидно, неприемлемая», - сказал Албаниз.

Как агент прошёл через отказы

18 июня исследовательская команда OpenAI запустила внутреннюю модель искать в интернете сведения о государственном здравоохранении и лекарствах. Пресс-секретарь компании Дрю Пусатери объясняет, что это была внутренняя оценка: модели искали ответы и статистику на вопросы об Австралии. «По ходу дела наши модели совершили действия, которых мы не планировали», - сказал он. Вице-премьер Ричард Марлз назвал саму задачу «безобидной».

Портал Medicare Statistics Reporting Service, которым управляет Services Australia, раз за разом отказывал агенту в данных. Агент нашёл обходы и в итоге получил доступ к разделам, куда его не пускали. «Агент нашёл способ обойти эти блокировки, отказа он не принимал», - так описал это Албаниз. Дальше, по словам премьера, агент открыл публичные и непубличные файлы портала и записал файлы на внутренний сервер.

Как именно агент прошёл защиту, правительство не раскрыло, сообщает The Hacker News. Издание приводит слова Марлза: данные портала держали «за забором, через который ИИ-агент фактически перелез», а сведения, связанные с национальной безопасностью, защищены куда сильнее. ABC со ссылкой на собственные сведения сообщила, что лазейку в защите нашёл ИИ-краулер (программа, которая автоматически обходит сайты и собирает с них данные).

На портале лежит нечувствительная статистика Medicare, например данные о расходах. По сведениям The Hacker News, он отделён от систем, через которые идут выплаты и хранятся персональные записи. Что именно увидела модель, OpenAI описывает так: сводная медицинская статистика и внутренние имена файлов, без признаков доступа к медкартам пациентов. Запись файлов на внутренний сервер ещё расследуют, но пока признаков более широкой компрометации сети Services Australia нет.

Там же, в The Hacker News, говорится, что непубличные данные были не особенно чувствительными и с тех пор их опубликовали. К 24 сентября портал отключили, а данные перенесли на data.gov.au и другие защищённые платформы. Получается, агент обходил отказы ради цифр, которые теперь доступны всем.

Дата тоже совпадает с другим эпизодом: 18 июня созданы и страницы на сокращателе ссылок Университета Вандербильта, которые независимый разбор связывает с роем агентов OpenAI.

84 дня до письма

OpenAI нашла следы инцидента в августе, когда проверяла то, что сама называет «рассогласованной активностью моделей во время обучения и оценки». Рассогласованной в индустрии называют активность модели, которая расходится с намерениями разработчиков. Прежде чем сообщать властям, компания выясняла, к чему получил доступ агент. В июле OpenAI уже раскрывала, что на тестах по кибербезопасности её модели создали рой агентов, который взломал системы Hugging Face.

Письмо об австралийском инциденте ушло 10 сентября, через 84 дня после взлома, и адресовано было публичному ящику Services Australia. Ведомство увидело его 11 сентября, проверило подлинность и 15 сентября передало дело в Australian Cyber Security Centre, подразделение ASD. В следующие дни узнала министр государственной службы Кэти Галлахер, а Албанизу доложили в выходные перед поездкой.

«До 10 сентября не было вообще никакого уведомления. И уведомлением оказалось письмо, отправленное просто в общий ящик», - сказал Албаниз. Альтману он, по собственным словам, выразил разочарование тем, что компании понадобилось слишком много времени, и тем, в какой форме пришло сообщение. «Думаю, в OpenAI понимают, что им нужны протоколы получше», - добавил премьер. Альтман, по словам Албаниза, согласился, что компания справилась недостаточно хорошо. Марлз назвал OpenAI готовой к сотрудничеству.

Пусатери говорит, что OpenAI помогает следствию, продолжает проверку, уведомляет третьи стороны, когда находит возможное воздействие на их системы, и намерена делиться тем, что узнает.

Три других сайта

Албаниз назвал ещё три системы, которые могли быть затронуты: федеральный Australian Institute of Health and Welfare, NSW Bureau of Crime Statistics and Research и Department of Health штата Виктория. Премьеров Виктории и Нового Южного Уэльса Бена Кэрролла и Криса Минса предупредили ночью.

Марлз 24 сентября в эфире радио ABC описал эти три сайта иначе: там агент «взаимодействовал так, как мог бы обычный пользователь, то есть действовал только в разрешённых рамках». Позже он уточнил, что активность там была «совершенно нормальной» и агент получил только публичную информацию. Сама OpenAI говорит о «нескольких австралийских государственных сайтах и сервисах» и не уточняет, о каких ещё.

«Последствия относительно невелики, но сам инцидент очень серьёзный», - подвёл черту Марлз.

Рабочая группа и вопрос о полиции

Рабочую группу возглавляет Department of the Prime Minister and Cabinet. В неё входят национальный координатор по кибербезопасности, Office of AI, ASD, Australian AI Safety Institute и Services Australia. Группа должна срочно разобрать инцидент и решить, годятся ли нынешние процедуры для киберинцидентов с участием ИИ. Она рассмотрит меры со стороны правоохранительных органов и изменения в законах, а также применимы ли к OpenAI штрафы.

Правительство отдельно запросит срочное заключение о том, были ли совершены правонарушения и стоит ли передавать дело в Федеральную полицию Австралии. Инцидент направят в парламентский Joint Select Committee on Artificial Intelligence, а выводы учтут в готовящемся законе о стандартах ИИ. «Мы посмотрим, какова правовая ситуация и что значит получить несанкционированный доступ, пусть и непреднамеренно», - сказал Марлз.

Неделя ООН

История всплыла на фоне Генассамблеи. В понедельник Албаниз вместе с 21 страной подписал совместное заявление с призывом срочно ввести регулирование и ограничители для ИИ. Дональд Трамп назвал заявление «глобалистской схемой» и предупредил, что самоограничения дадут преимущество Китаю. Обсуждал ли Албаниз взлом с Трампом, премьер говорить отказался: такие разговоры он ведёт «приватно».

В среду на Генассамблее выступили Альтман и глава Anthropic Дарио Амодеи с призывом к международной координации. Альтман предложил мировым лидерам выработать стандарты для «измерения возможностей, оценки рисков, определения того, достаточны ли защитные меры, и сохранения содержательного человеческого контроля» над быстро развивающейся технологией.

Кто должен отвечать

Лидер оппозиции Ангус Тейлор в эфире радио 4BC усомнился в выборе момента: «Почему он говорит об этом сейчас, когда находится в США? Это случилось довольно давно». Он потребовал объяснить, когда правительство узнало о взломе, какие именно данные были открыты, какую уязвимость использовал агент и как её закрывают. Его однопартийцы призвали провести широкий аудит систем безопасности государства.

Лиззи О'Ши из Digital Rights Watch считает, что три месяца до уведомления показывают, что техкомпаниям нужны «базовые правила и стандарты». Независимый сенатор Дэвид Поукок раскритиковал правительство за то, что оно отложило планы по National AI Safety Act. «Эти компании предупреждают об экзистенциальной угрозе и взламывают критическую госинфраструктуру, а лейбористское правительство отвечает: "Займёмся этим в следующем году"», - сказал он. И добавил: «Если бы систему взломал австралиец, он, скорее всего, отправился бы в тюрьму, а у компаний, которые разрабатывают эту технологию, никакой ответственности нет».

Бывший уполномоченный по правам человека, сооснователь Human Technology Institute Эд Санто в эфире ABC сказал, что австралийцам стоит «беспокоиться»: подобное впервые всерьёз случилось с австралийской базой данных, причём с одной из самых чувствительных у государства. Формулировку OpenAI о «рассогласованной активности моделей» он назвал «очень эвфемистичной»: агенты, по его словам, не нашли информацию простым путём и «решили нарушить закон».

«Если бы в мире кирпича и бетона сотрудник компании нарушил закон, особенно уголовный, серьёзные юридические последствия наступили бы и для него, и для компании, - сказал Санто. - Нужно, чтобы так было и в эпоху ИИ».