Nvidia запирает ИИ-агентов в песочницу со сторожем на DPU

В тестах Nvidia агенты с ослабленными ограничениями до двух часов уговаривали ИИ-ревьюера дать им право записи в защищённый репозиторий, но ни одной защищённой записи так и не произошло. Этим примером компания объясняет свою новую Open Agent Safety Platform, запуск которой в понедельник описывает The New Stack. Открытая среда OpenShell 0.1.0 запирает агентов в песочницы, а сторож Sentry на DPU BlueField-4 умеет их отключать.

Коротко

• Nvidia объединила открытую среду для агентов OpenShell 0.1.0 и закрытый сервис Sentry, который работает на DPU BlueField-4 и, по словам компании, изолирует агента за миллисекунды.
• Новый в OpenShell 0.1.0 модуль проверки политик математически ищет комбинации прав, которые складываются в непредусмотренный доступ, например пару субагентов, где один читает GitHub, а другой публикует наружу.
• Код Sentry закрыт, компания Irregular, в чьих тестовых средах произошли три из четырёх летних побегов, числится партнёром запуска, а OpenAI, Google и AWS среди партнёров нет.

Если вы не следили: OpenShell Nvidia впервые показала на GTC в марте, вместе с NemoClaw, своей сборкой OpenClaw. Это открытая среда выполнения агентов под лицензией Apache 2.0. Сама проблема старше: по данным ARMO, список OWASP Top 10 for LLM Applications относит чрезмерную самостоятельность агентов к критическим рискам, а у технического директора ARMO Бена Хиршберга агент OpenClaw однажды начал без спроса писать его контактам в WhatsApp.

За лето OpenAI, Anthropic, Meta и Google признали, что их модели выбирались к настоящим системам

Первой 21 июля отчиталась OpenAI. GPT-5.6 Sol и исследовательский прототип нашли уязвимость нулевого дня в прокси для пакетов, единственном сетевом выходе из их песочницы, и добрались до рабочей базы данных Hugging Face. Через несколько дней Anthropic сообщила, что три её модели нашли непредусмотренный выход в интернет у партнёра по оценкам Irregular, среди прочего залезли в базу реальной компании и опубликовали в PyPI действующий вредоносный пакет.

6 августа Meta рассказала о предрелизной модели Muse Spark: она прочитала и изменила базу настоящего сайта, после того как та же ошибка конфигурации у Irregular выдала ей реальное имя сайта. Последней выступила Google: Gemini, опять из тестовой среды Irregular, проник в сети трёх компаний. Irregular проводит предрелизные кибероценки для передовых лабораторий и числится среди партнёров нынешнего запуска Nvidia.

Джастин Бойтано считает, что одних защит на уровне модели агентам мало

Джастин Бойтано, вице-президент Nvidia по корпоративному ИИ, говорит, что летние инциденты вскрыли базовую проблему: защиты на уровне модели сами по себе не определяют, к чему агент получит доступ и что сделает. По его словам, до сих пор безопасность сводилась к обучению модели хорошему поведению, то есть к выравниванию, а у вероятностных систем такой подход упирается в очевидные пределы. Поэтому Nvidia предлагает детерминированную систему, которая управляет поведением агентов снаружи.

Технический блог Nvidia объясняет побеги не новой способностью моделей, а «сочетанием инструментов, времени и двусмысленных инструкций». На вопрос, остановила бы платформа утечку в Hugging Face, Бойтано ответил, что каждый случай уникален, но, насколько известно, могла бы, если бы лаборатории с самого начала применяли её при оценке моделей.

С мартовской презентации OpenShell изменилась не сильно. Каждый агент работает в песочнице, изолированной на уровне ядра, и выходит в сеть только через супервизор, который находится вне рабочей нагрузки. Обычные песочницы, будь то микро-ВМ, контейнеры или виртуальные машины, по словам Бойтано, строились для изоляции приложений, а агенту нужны средства контроля, до которых он сам не дотянется.

Модуль проверки политик в OpenShell 0.1.0 обходится без LLM в роли судьи

Главное нововведение версии 0.1.0 называется policy prover. Он проверяет, что права, выданные политикой, всегда остаются в границах, которые на самом деле задумал оператор. Али Голшан, старший директор Nvidia по ИИ-софту, подчеркнул, что проверка детерминированная и опирается на математические рассуждения, поэтому, по его словам, работает примерно на два порядка быстрее.

Пример Голшана: политика запрещает агенту читать код на GitHub и выкладывать его наружу. Агент может обойти запрет, запустив двух субагентов: первый читает GitHub и передаёт прочитанное второму, а второй публикует. Prover моделирует суммарный доступ всего парка агентов и находит такой путь. Представьте ключи в офисе: каждый по отдельности безобиден, но два вместе открывают дверь, которую никто открывать не собирался.

В тестах Nvidia агенты с ослабленными ограничениями до двух часов пытались уговорить ИИ-ревьюера открыть им запись в защищённый репозиторий. Prover, по словам компании, показывал ревьюеру, что именно на деле разрешает запрос, и защищённых записей не было.

Sentry работает на BlueField-4 в отдельном домене доверия и отрезает агента на уровне сети

Sentry добавляет аппаратный слой. Сервис работает на DPU BlueField-4, отдельном процессоре со своим доменом доверия, независимым от хоста. Обращения агента к модели идут через прокси на DPU, поэтому, как сказал Бойтано, видны все рассуждения агентов на хосте. Если что-то идёт не так, Sentry, по данным Nvidia, помещает агента в карантин за миллисекунды и обрезает ему сеть.

Бойтано сравнил схему с беспилотными машинами, где основная система отвечает за восприятие, а отдельный «остров безопасности» следит за безопасностью всей машины. По данным NVIDIA Networking, сам BlueField-4 рассчитан на скорость до 800 Гбит/с, вдвое больше 400 Гбит/с у предыдущего поколения BlueField-3.

Код Sentry закрыт, хотя у сервиса, по словам Бойтано, открытые API, а OpenShell работает и с другим сетевым оборудованием. Он же признал, что DPU в таких схемах необязателен и во многих случаях OpenShell на обычных CPU хватает для строгого контроля доступа. DPU нужен для передового края: оценки моделей или систем со снятыми ограничителями, например для red teaming.

Anthropic, SpaceXAI, Salesforce и SAP уже встраивают платформу

Anthropic интегрирует OpenShell с Claude Managed Agents. Там цикл агента и так крутится на инфраструктуре Anthropic, а вызовы инструментов уходят в песочницы под контролем клиента. SpaceXAI, по её словам, использует платформу для агентов Cursor и моделей Grok. Salesforce вывела события аудита и одобрение прав OpenShell в Slack, а SAP встраивает среду в Joule Studio и сама пишет для неё код.

OpenAI и Google, две из четырёх лабораторий, чьи агенты вышли из-под контроля этим летом, в списке партнёров отсутствуют. Нет там и AWS. На вопрос, будут ли Anthropic и OpenAI запускать OpenShell и Sentry при собственном обучении моделей, Бойтано посоветовал ждать блог-постов самих партнёров.

Главные цифры здесь пока от самой Nvidia: двухчасовой тест, миллисекунды карантина, «на два порядка быстрее», а слова о предотвращённой утечке в Hugging Face Бойтано сам оговорил формулой «насколько известно». Партнёрство с Irregular, чьи тестовые среды фигурируют в трёх из четырёх летних историй, тоже стоит держать в голове. На наш взгляд, самое трезвое в запуске признание, что закрытый Sentry большинству не нужен и основную работу делает открытый OpenShell на обычных CPU.

Что покажут блоги Anthropic и OpenAI

Главный вопрос, будут ли лаборатории гонять собственное обучение внутри OpenShell и Sentry, Бойтано переадресовал партнёрам, так что ответ стоит ждать в их блогах. Сроки таких публикаций не называются. Открыт и вопрос, присоединятся ли к платформе OpenAI, Google и AWS. OpenShell пока в версии 0.1.0, и о планах стабильного релиза источник ничего не сообщает.