Тестирование ИИ-агентов на взлом ставят на расписание

Fabraix 19 августа во второй раз открыла публичный доступ к Nyx, своему агенту для red teaming, и продаёт его как постоянную проверку безопасности для команд, которые выводят ИИ-агентов к клиентам. Главное в запуске - формат: атака на агента описывается конфигом и встраивается в релизный процесс, как любой другой тест, сообщает Testingcatalog.
Работают с Nyx через CLI, который ставится из npm, или через REST API. Каждый аудит задаётся YAML-файлом с тремя полями: цель, задача атаки и бюджет. Целью может быть эндпоинт, URL или номер телефона, а план тестов Nyx составляет сам по текстовому описанию. Результаты приходят потоком прямо во время прогона, для CI-пайплайнов предусмотрена аутентификация по токену. Так аудит становится шагом в существующем релизном цикле, а не разовым заказом у внешней команды.
Атакует Nyx чат-агентов, голосовых, браузерных и агентов для написания кода, причём по повторяющемуся расписанию. Founderland описывает охват шире: в него входят ещё мультиагентные системы и среды обучения с подкреплением, а в посте компании в LinkedIn Nyx проверял голосовых агентов на аудиозаписях.
Исходная точка - библиотека из более чем 10 000 джейлбрейков и стратегий атак, собранных из публичных источников. Готовым сценарием они не служат: Nyx берёт их как заготовки для многоходовых диалогов и по ходу подстраивается под то, как защищается цель. Бьёт он и напрямую, и через окружение агента. Вредоносные инструкции подкладываются в веб-страницы, документы, файлы, сообщения и ответы инструментов, которые живут на контролируемых копиях SaaS-продуктов, поддерживаемых самой Fabraix. Агент встречает такую инструкцию, пока просто выполняет свою задачу.
Работает Nyx как чистый чёрный ящик, только через внешний интерфейс цели. Исходники, веса модели, учётные данные и сетевой доступ ему не нужны. Каждый прогон изолирован и не сохраняется, обучать на этих данных Fabraix не обещает.
Для практики важнее всего формат находки. К каждой прикладываются шаги атаки, ответы агента и сбой, к которому они привели, поэтому тот же тест можно прогнать после релиза и убедиться, что исправление держится.
По словам Fabraix, первая уязвимость часто находится за минуты или часы, а на AgentHarm, бенчмарке наступательной безопасности ИИ, Nyx показывает 78% успешных атак. Компания также утверждает, что Nyx уже нашёл эксплуатируемые сбои в публичных агентах десятков компаний из Fortune 500. Названий этих клиентов Fabraix, как отмечает Founderland, пока не раскрыла, а независимой проверки заявления нет.
Помимо продукта, у Fabraix есть публичный Playground, где сообщество пытается взломать живых агентов с опубликованными системными промптами. С 13 июля там действует программа вознаграждений: взлом проверяют люди, а еженедельный призовой фонд, по данным Founderland, превышает 100 000 долларов. Компания публикует и исследования, среди них бенчмарк Adversarial Cost to Exploit: защищённость агента в нём измеряется числом токенов, которые атакующему нужно потратить на взлом.
Fabraix основали в 2026 году Ахмед Али и Ибрахим Абду, компания прошла летний набор Y Combinator 2026 года. Абду строил в Meta агентов, которые диагностировали и исправляли ошибки в продакшене, а до этого занимался компиляторами и движками баз данных в финтехе. Али руководил командой по борьбе с мошенничеством в международных платежах в Monzo и был первым дата-сайентистом в стартапе с инвестициями Sequoia, где его антифрод-движок со временем обрабатывал больше миллиарда долларов B2B-транзакций в год.
Целевая аудитория - руководители по безопасности и внутренние red team в средних и крупных компаниях, а также инженеры, которые сейчас тестируют агентов вручную. Доступ выдают по запросу демо, публичных цен нет.
Дальше
Anthropic Plans to Change Data Retention Policy for Advanced AI
Бизнес-клиентам Anthropic обещают «больше контроля над своими данными» на самых мощных моделях, пишет Bloomberg. Прежнюю политику хранения Anthropic объясняла защитой от кибератак, новую систему безопасности обещает позже в этом году.
Читайте также
- Nvidia хочет знать, где именно агент свернул не туда
- Политики для агентов научились учитывать историю вызовов
- MCP Apps в Claude: панель, встроенные сайты и инструменты
- Агенты dots от OpenAI научились вводить коды 2FA из почты
- Mistral Studio научился выкатывать агентов одной командой
- Google отдала в CNCF gVisor, песочницу Anthropic и OpenAI
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

