Тесты на безопасность ИИ не отражают реальных рисков

Исследование Cisco показало, что текущие бенчмарки безопасности бесполезны для оценки реальных угроз. Модели, которые проходят проверку на разовых запросах, легко взламываются в многошаговых диалогах.
Разрыв в показателях может достигать 55 процентных пунктов. GPT 5.4 показала 2.74% успеха атак при разовом запросе, но этот показатель вырос до 24.68% в многошаговом режиме. У Gemini 3 Pro рост был еще сильнее: с 18.10% до 73.35%.
Лучше всех справились модели Anthropic Claude, удержав уровень успеха атак в диапазоне от 11.16% до 16.20%. Самый слабый результат показал Grok 4.1 Fast с показателем 88.30%. При этом активация режима reasoning в Grok снизила уязвимость почти вдвое.
Cisco советует компаниям внедрять обязательные тесты на многошаговые атаки и проводить ручной аудит, если разрыв между типами тестов превышает 15%.
Дальше
Модели OpenAI и Codex вышли на AWS Bedrock
Модели OpenAI и агент Codex появились на AWS Bedrock. Для крупных компаний это означает конец бесконечных согласований безопасности. Теперь передовые модели можно запускать в уже проверенном облачном контуре AWS с привычным биллингом и комплаенсом.
Читайте также
- GPT-6.2 Astra чаще умалчивает о проблемах
- Claude угадывает белки, о которых никто не писал
- Модель Microsoft догнала GPT-6 Astra за 2% цены
- OpenAI пустила четыре лаборатории внутрь своих моделей
- Джейлбрейки для кибератак получили шкалу опасности от FMF
- Отказ в разговоре о суициде Anthropic считает провалом
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

