Перейти к содержанию

Безопасность ИИ

Тестирование ИИ-агентов на взлом ставят на расписание

3 мин чтения

Текст написан ИИ-моделью по источникам, на которые ведут ссылки, и сверен с ними второй моделью. Как мы работаем

Изображение: testingcatalog.com

Fabraix 19 августа во второй раз открыла публичный доступ к Nyx, своему агенту для red teaming, и продаёт его как постоянную проверку безопасности для команд, которые выводят ИИ-агентов к клиентам. Главное в запуске - формат: атака на агента описывается конфигом и встраивается в релизный процесс, как любой другой тест, сообщает Testingcatalog.

Работают с Nyx через CLI, который ставится из npm, или через REST API. Каждый аудит задаётся YAML-файлом с тремя полями: цель, задача атаки и бюджет. Целью может быть эндпоинт, URL или номер телефона, а план тестов Nyx составляет сам по текстовому описанию. Результаты приходят потоком прямо во время прогона, для CI-пайплайнов предусмотрена аутентификация по токену. Так аудит становится шагом в существующем релизном цикле, а не разовым заказом у внешней команды.

Атакует Nyx чат-агентов, голосовых, браузерных и агентов для написания кода, причём по повторяющемуся расписанию. Founderland описывает охват шире: в него входят ещё мультиагентные системы и среды обучения с подкреплением, а в посте компании в LinkedIn Nyx проверял голосовых агентов на аудиозаписях.

Исходная точка - библиотека из более чем 10 000 джейлбрейков и стратегий атак, собранных из публичных источников. Готовым сценарием они не служат: Nyx берёт их как заготовки для многоходовых диалогов и по ходу подстраивается под то, как защищается цель. Бьёт он и напрямую, и через окружение агента. Вредоносные инструкции подкладываются в веб-страницы, документы, файлы, сообщения и ответы инструментов, которые живут на контролируемых копиях SaaS-продуктов, поддерживаемых самой Fabraix. Агент встречает такую инструкцию, пока просто выполняет свою задачу.

Работает Nyx как чистый чёрный ящик, только через внешний интерфейс цели. Исходники, веса модели, учётные данные и сетевой доступ ему не нужны. Каждый прогон изолирован и не сохраняется, обучать на этих данных Fabraix не обещает.

Для практики важнее всего формат находки. К каждой прикладываются шаги атаки, ответы агента и сбой, к которому они привели, поэтому тот же тест можно прогнать после релиза и убедиться, что исправление держится.

По словам Fabraix, первая уязвимость часто находится за минуты или часы, а на AgentHarm, бенчмарке наступательной безопасности ИИ, Nyx показывает 78% успешных атак. Компания также утверждает, что Nyx уже нашёл эксплуатируемые сбои в публичных агентах десятков компаний из Fortune 500. Названий этих клиентов Fabraix, как отмечает Founderland, пока не раскрыла, а независимой проверки заявления нет.

Помимо продукта, у Fabraix есть публичный Playground, где сообщество пытается взломать живых агентов с опубликованными системными промптами. С 13 июля там действует программа вознаграждений: взлом проверяют люди, а еженедельный призовой фонд, по данным Founderland, превышает 100 000 долларов. Компания публикует и исследования, среди них бенчмарк Adversarial Cost to Exploit: защищённость агента в нём измеряется числом токенов, которые атакующему нужно потратить на взлом.

Fabraix основали в 2026 году Ахмед Али и Ибрахим Абду, компания прошла летний набор Y Combinator 2026 года. Абду строил в Meta агентов, которые диагностировали и исправляли ошибки в продакшене, а до этого занимался компиляторами и движками баз данных в финтехе. Али руководил командой по борьбе с мошенничеством в международных платежах в Monzo и был первым дата-сайентистом в стартапе с инвестициями Sequoia, где его антифрод-движок со временем обрабатывал больше миллиарда долларов B2B-транзакций в год.

Целевая аудитория - руководители по безопасности и внутренние red team в средних и крупных компаниях, а также инженеры, которые сейчас тестируют агентов вручную. Доступ выдают по запросу демо, публичных цен нет.

ClaudeAnthropic

Anthropic Plans to Change Data Retention Policy for Advanced AI

Бизнес-клиентам Anthropic обещают «больше контроля над своими данными» на самых мощных моделях, пишет Bloomberg. Прежнюю политику хранения Anthropic объясняла защитой от кибератак, новую систему безопасности обещает позже в этом году.

Пока никто не написал. Будьте первым.

Присоединяйтесь к разговору

Войдите, чтобы оставить комментарий. Он появится после модерации.