2,0% против 5,5%: Opus 5 хуже поддаётся инъекциям

На бенчмарке IPI, где проверяют устойчивость к инъекциям в промпт, вероятность успешной атаки на Claude Opus 5 за 15 попыток составила 2,0% против 5,5% у Opus 4.8. С одной попытки показатель снизился с 0,5% до 0,2%. Цифры разобрал в своём блоге Брюс Шнайер.

Opus 5 оказался устойчивее Sonnet 5 (5,9% за 15 попыток) и Mythos 5 (2,6%) и стал самой стойкой моделью в этом замере. Лучший результат вне линейки Claude показал Muse Spark с 16,5% за 15 попыток, в восемь с лишним раз выше, чем у Opus 5.

Самая мощная версия GPT 5.6, Sol, набрала 20,0% против 20,8% у предшественника GPT 5.5. Остальные варианты GPT 5.6 слабее, у Terra 30,4%, у Luna 43,9%. Одна попытка против Sol срабатывала в 3,1% случаев, выше, чем 2,0% у Opus 5 после пятнадцати попыток.