Атака промпт-инъекцией на Opus 5 удаётся в 2% случаев

В блоге Брюса Шнайера разобраны результаты бенчмарка IPI, который замеряет устойчивость моделей к инъекциям в промпт (скрытым командам во внешних данных). У Opus 5 вероятность успешной атаки за 15 попыток упала с 5,5% у Opus 4.8 до 2,0%, за одну попытку с 0,5% до 0,2%.

По этому бенчмарку Opus 5 обошёл все проверенные модели: Sonnet 5 показал 5,9% за 15 попыток, Mythos 5 набрал 2,6%. Самой стойкой моделью не от Anthropic оказалась Muse Spark с 16,5%, более чем в восемь раз выше показателя Opus 5.

Сильнейший вариант GPT 5.6, Sol, набрал 20,0% против 20,8% у предшественника GPT 5.5. Остальные варианты слабее: Terra 30,4%, Luna 43,9%. Одна попытка против Sol срабатывает в 3,1% случаев, то есть чаще, чем пятнадцать попыток против Opus 5.