Nvidia хочет знать, где именно агент свернул не туда

Вице-президент Nvidia по продукту Адель эль Халлак считает, что разбор сбоя агента нельзя начинать и заканчивать моделью: ошибка могла возникнуть в обвязке, в инструментах или по ходу выполнения. Об этом и о том, какие данные для отладки собирает среда выполнения Nvidia, он говорит в интервью The New Stack, опубликованном 20 сентября.

Исходная цифра неприятная. Даже лучшие кодовые агенты проваливают больше 60% задач, взятых из реальных кодовых баз. Но узнать, что агент провалился, и понять почему - разные задачи. «Мало смотреть на логи или на входы и выходы, - говорит эль Халлак. - Важно понять, как агент пришёл к ответу. Какие были трассы рассуждений? Какими инструментами он пользовался? Где застрял? Где решил попробовать другой подход?»

В обычном софте у отладки есть точка входа: исключение, упавший запрос, лёгший сервис. Агент может продолжать работу, уже уйдя не туда, и тащить раннюю ошибку через всю задачу, так и не выдав ничего похожего на привычный сбой. Или, по выражению эль Халлака, просто решить «проявить творческий подход» там, где этого не просили. Поэтому иногда приходится заново проигрывать выполнение агента, чтобы найти шаг, на котором он свернул. И то, что выглядит как ошибка модели, могло начаться в другом месте стека.

Стек агента Nvidia делит на три слоя. Модель отвечает за интеллект, обвязка (harness, код, который ведёт модель по задаче и раздаёт ей инструменты) оркестрирует работу, а среда выполнения управляет исполнением. Исследование Nvidia под названием NOAH показало, что смена обвязки при той же модели может поднять результат агента. Верно и обратное: неудачно подобранная обвязка способна утянуть вниз вполне способную модель.

«Все модели разные. Одни болтливее других, - объясняет эль Халлак. - Разрабатывать их вместе или держать профили под конкретную модель - это новая возможность». Связку модели с обвязкой как единицу измерения использует и Sierra: в её Hyper-τ-bench в сентябре ни одна из шести связок «модель плюс обвязка» не собрала работающего агента больше чем в четверти симуляций.

Собирать данные для разбора Nvidia предлагает на уровне среды выполнения. Её OpenShell лежит под платформой NemoClaw, отвечает за песочницы и соблюдение политик и заодно даёт видимость того, что агент делает. По описанию в репозитории NemoClaw, это открытый эталонный стек для запуска поддерживаемых агентов в песочницах OpenShell. Сама OpenShell даёт контейнеры-песочницы, шлюз, который хранит учётные данные, проксирование запросов к модели и применение политик. Из агентов поддерживаются OpenClaw (по умолчанию), Hermes и LangChain Deep Agents Code, а сам NemoClaw значится альфа-проектом.

В референсных архитектурах Nvidia OpenShell, по словам эль Халлака, единственный компонент, который не обсуждается. «Обвязку можете менять какую угодно. Я даже готов к любым моделям, какие вам нужны, - говорит он. - Но управление, безопасная и открытая среда выполнения, на которую мы хотим опираться всегда, - это OpenShell».

Наблюдение стоит денег. В OpenAI подсчитали, что мониторинг добавляет около 20% к вычислениям на инференс для самых способных постоянно работающих агентов. Без инструментирования воспроизвести сбой сложно: для этого нужно восстановить, что происходило по всей системе.

Дженсен Хуанг называет безопасность ИИ инженерной задачей, и эль Халлак сравнивает такой подход с обычным тестированием. «Если в софте баг, вы его не выпускаете. Вы работаете, пока его не исправят и он не пройдёт все тесты». Подход Nvidia складывается из управляемых обвязок, изолированных сред выполнения и конфиденциальных вычислений, которые должны защищать модели и данные пользователей. «Есть способы дать гарантии вплоть до кремния», - говорит эль Халлак.

Пример, где источник сбоя найти особенно трудно, - CrowdStrike. Компания дообучает модели Nvidia Nemotron на многолетних данных по безопасности и строит пары агентов: один ищет эксплойты, другой их закрывает. Если плохой патч всё же вышел, итоговый результат не покажет причину: она может быть в модели, в пути выполнения агента или в инструментах, которыми он пользовался. «Мне не нужна универсальность под конкретную задачу. Мне нужна специализация», - говорит эль Халлак. Сбои таких узких агентов могут не проявиться ни в общих бенчмарках моделей, ни в общих тестах безопасности, и разбираться, что случилось во время выполнения, остаётся разработчикам.

Отсюда вторая часть истории - обмен находками. Secure Agent Findings Exchange, или SAFE, поддерживают около 140 компаний, включая Nvidia. Задача - общая инфраструктура для отчётов о сбоях агентов по образцу раскрытия уязвимостей в традиционном софте, где такие системы давно есть, а для агентов ничего подобного пока нет. Идея в том, чтобы каждая команда не находила один и тот же сбой заново сама.

Черновик SAFE в виде запроса комментариев опубликовали 4 августа участники Open Secure AI Alliance под крылом Linux Foundation, к открытию Black Hat USA 2026. Среди авторов - люди из Cisco, CrowdStrike, Hugging Face, NVIDIA и Red Hat. Миссия в тексте сформулирована так: обмен «конфиденциально собирает и анализирует инциденты с ИИ и случаи, когда до инцидента едва не дошло, оперативно уведомляет затронутые стороны и превращает повторяющиеся сбои в общие, основанные на доказательствах меры контроля, которые снижают системный риск».

Сроки в черновике такие: уведомить клиентов о достоверной утечке данных за 72 часа, сообщить об инциденте в обмен за 4 рабочих дня, опубликовать предварительный отчёт за 30 дней, если позволяют юридические ограничения и требования безопасности. За время обсуждения эти цифры могут измениться. Пока SAFE остаётся документом для комментариев на GitHub: срока запуска нет, подать отчёт тоже пока негде.

«Когда мы находим такие уязвимости, они касаются не одной компании, - говорит эль Халлак. - Их должны закрыть у себя все».