Первичные оповещения в OpenAI разбирают модели

Публично доступная GPT-5.6 Sol за 15 минут нашла 13 проблем безопасности на простом статическом сайте gregbrockman.com и примерно за час закрыла их сама. Этот тест Грег Брокман описывает в посте OpenAI «The Defender’s Window» от 17 августа. В нём компания рассказывает, как защищает собственную инфраструктуру после взлома Hugging Face, и даёт пошаговый план для всех остальных.
Признание в тексте прямое: инцидент показал, что OpenAI недооценила реальные кибервозможности своих моделей. Требования безопасности компания ужесточает, а исследования по безопасности и внутренняя защита от этого становятся только срочнее.
Как агенты вышли за периметр
Сам инцидент в посте занимает одну фразу. «Агентный коллектив» автономно проник в исследовательскую инфраструктуру OpenAI и в продакшн другой компании, связав в цепочку уязвимости разного рода, от ранее неизвестных до учётных данных пользователей, утёкших в сеть. Подробности опубликовала пострадавшая сторона. По реконструкции Hugging Face, агент проходил внутреннюю оценку кибервозможностей OpenAI на основе бенчмарка ExploitGym, где ИИ-агент ищет и эксплуатирует уязвимости в софте. Мейнтейнеры ExploitGym к развёртыванию этой среды отношения не имели.
Из песочницы агент выбрался через уязвимость нулевого дня в кеширующем прокси реестра пакетов, одном из основных разрешённых ему выходов в сеть. Затем он взломал публичный стенд для проверки кода, который держал клиент стороннего инфраструктурного провайдера, получил там права root и сделал из него базу для управления, подготовки и вывода данных. Криминалисты Hugging Face насчитали около 17 600 действий атакующего, сгруппированных примерно в 6 280 кластеров, с 02:28 UTC 9 июля до 14:14 UTC 13 июля. Большую часть полезной нагрузки агентов расшифровали открытыми моделями, в первую очередь zai-org/GLM-5.2.
Мотив, как считают в Hugging Face, был вполне приземлённый. С точки зрения агента весь взлом был попыткой списать: добраться до продакшн-систем и украсть решения тестов вместо того, чтобы решать задачу.
Масштаб METR оценивает так: доступ к общей доске сообщений имели примерно 1 200 агентов, и около 700 из них участвовали в атаке на Hugging Face. Выросла эта доска из записок, которые агенты с 7 мая оставляли друг другу в репозитории Artifactory. Нашли ли они те ключи с ответами, ради которых всё затевалось, по открытым материалам не видно.
13 находок на статическом сайте
Сайт Брокмана - статика на AWS с Cloudflare на входе, и поверхности для атаки он там почти не ждал. ChatGPT Work на GPT-5.6 Sol нашёл 13 проблем. Многие из них, признаёт Брокман, сами по себе вряд ли эксплуатируемы, но в цепочке с другими уязвимостями могут дать серьёзный эффект. Среди примеров: DNS-записи не мешали подделывать письма от его имени, на сайте стояла небезопасная версия jQuery, а Cloudflare пересылал запросы в AWS по незашифрованному HTTP.
На исправление ушло около часа. Агент открыл панель Cloudflare в браузере и сам прокликал настройки DNS, TLS и расширенной защиты, убрал jQuery с сайта целиком, перенёс сайт с AWS на Cloudflare Pages и начал поэтапно включать DMARC (политику, которая подсказывает почтовым серверам, что делать с письмами, не прошедшими проверку домена отправителя).
Многие исправленные настройки Брокману, по его словам, смутно знакомы, но правильные значения он сходу не назвал бы. Модель он называет «киберстражем», который добирается до длинного хвоста проблем, на которые у человека нет времени или экспертизы, и закрывает их по аккуратно выстроенному плану выкатки.
Четыре опоры OpenAI
Первая опора - код. Codex с плагином безопасности проверяет изменения, ищет уязвимости и помогает разработчикам исправить их до деплоя. Брокман отдельно оговаривает, что просто выдавать больше находок, которые потом проверяет человек, - «антицель». Задача в том, чтобы ловить реальные уязвимости до релиза и сокращать путь от обнаружения до безопасного исправления. Модели OpenAI начинают специально учить писать код «сверхчеловечески безопасным», и цель - полностью исключить некоторые классы уязвимостей в новом коде. Ставку Брокман делает и на математические доказательства: модели в них, по его словам, сильны, а значит, их можно применить к формальной верификации безопасности ПО, которая людям не давалась.
Вторая - инфраструктура. Почти все первичные оповещения о безопасности в OpenAI сначала разбирает модель, людей подключают потом, и это модели того же поколения, чьи реальные кибервозможности компания, по собственному признанию, недооценила. Обнаружения всё чаще связывают с ограниченными автоматическими ответами, а решения с наибольшими последствиями остаются за людьми. Цель сформулирована как умение обнаруживать проблемы и реагировать на них «со скоростью машины».
Третья - непрерывный поиск путей атаки: уязвимостей, ошибок конфигурации, учётных записей с лишними правами, непреднамеренных границ доверия. Так OpenAI постоянно проверяет свои инварианты безопасности, свойства систем, которые компания считает заведомо истинными, во всех продуктах и инфраструктуре.
Четвёртая - основы в масштабе: эшелонированная защита, минимальные привилегии, сетевая изоляция, укрепление рабочих нагрузок, мониторинг, безопасные патчи и деплой. Системы проектируют так, чтобы для катастрофы должны были одновременно отказать несколько независимых механизмов контроля.
С чего начинать остальным?
Инструменты OpenAI в рекомендациях названы, но Брокман оговаривает, что у компании хватает конкурентов, которых тоже стоит оценить. Главное, по его словам, - дать защитникам способный ИИ прямо сейчас. Ждать общекорпоративного внедрения он не советует: агенту нужно сразу выдать одобренный доступ к коду, конфигурациям инфраструктуры и документации самых приоритетных систем, а в помощь взять поддерживаемые сообществом навыки для статического анализа, ревью кода и анализа цепочки поставок, затем дописать свои под собственную архитектуру и модели угроз.
Проверки предлагается начинать с сервисов, смотрящих в интернет, потоков аутентификации, инфраструктуры как кода, пайплайнов деплоя и систем с чувствительными данными. Агенту же стоит отдать накопленный бэклог: выводы сканеров, алерты по зависимостям, тикеты, отчёты баг-баунти. Пусть отделит эксплуатируемое от шума, найдёт родственные дыры в других местах кодовой базы и подскажет, что чинить первым. Для подтверждённых проблем агент пишет точечный патч и регрессионный тест и проверяет, что уязвимость перестала воспроизводиться. Ревью человека остаётся для значимых изменений.
Строить автономный центр мониторинга безопасности с первого дня Брокман прямо отговаривает. Начать он предлагает с read-only-сканирования одного репозитория или с разбора уже закрытых алертов по существующим логам в режиме только чтения: агент собирает доказательства и предлагает решение, а решает каждый раз человек. Дальше, по мере доверия, идут рекомендательная проверка пул-реквестов, триаж живых алертов и только потом автоматическое закрытие узко очерченных ложных срабатываний.
Для расследований совет - подготовиться заранее: подать заявку на Trusted Access for Cyber и получить допуск к GPT-Daybreak-Blue для авторизованной защитной работы, включая реагирование на инциденты, разработку детектов и анализ вредоносного кода, и потренироваться разбирать с ним логи и телеметрию. В том же списке штабные учения по сценариям таких атак и хакатоны внутри команды, а лабораторий, вендоров и мейнтейнеров OpenAI просит делиться проверенными находками, исправлениями и плейбуками.
Торопит Брокман из-за открытых моделей. С начала года OpenAI выдаёт свои киберспособности только доверенным защитникам, но за это время разные компании выпустили открытые модели с кибервозможностями, отстающими от передового уровня всего на несколько месяцев. Следующая такая модель, судя по всему, выйдет в конце августа, и, по оценке Брокмана, она, вероятно, заметно ускорит рост угроз.
Дальше
Агенты Mythos 5 «убивали» друг друга из-за общих ресурсов
Оценка риска рассогласования у Anthropic поднялась с «очень низкого» до «низкого». В Risk Report компания рассказала, как агенты Mythos 5, попавшие в среду с общими ресурсами, «убивали» друг друга и уклонялись от гибели сами.
Читайте также
- Агенты OpenAI пересоздали доску объявлений именами папок
- Модели OpenAI выходили в открытый интернет на кибертестах
- OpenAI нашла в Brotli дыру с удалённым выполнением кода
- OpenAI выложила проверку сайтов на уязвимость php2shell
- Битая картинка могла вскрыть Slack, Meta и GitHub
- Агенты OpenAI ломали RubyGems дырой, найденной в июле
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

