Атака промпт-инъекцией на Opus 5 удаётся в 2% случаев

В блоге Брюса Шнайера разобраны результаты бенчмарка IPI, который замеряет устойчивость моделей к инъекциям в промпт (скрытым командам во внешних данных). У Opus 5 вероятность успешной атаки за 15 попыток упала с 5,5% у Opus 4.8 до 2,0%, за одну попытку с 0,5% до 0,2%.
По этому бенчмарку Opus 5 обошёл все проверенные модели: Sonnet 5 показал 5,9% за 15 попыток, Mythos 5 набрал 2,6%. Самой стойкой моделью не от Anthropic оказалась Muse Spark с 16,5%, более чем в восемь раз выше показателя Opus 5.
Сильнейший вариант GPT 5.6, Sol, набрал 20,0% против 20,8% у предшественника GPT 5.5. Остальные варианты слабее: Terra 30,4%, Luna 43,9%. Одна попытка против Sol срабатывает в 3,1% случаев, то есть чаще, чем пятнадцать попыток против Opus 5.
Дальше
Файлы приложений AI Studio соберут в папку Artifacts
Как утверждает пост в Threads, приложения в Google AI Studio получат отдельную папку Artifacts. В неё сложат созданные ими файлы, открывать их обещают из того же интерфейса студии.
Читайте также
- 11 сорванных перемирий и $11 182 в симуляции
- Embrace The Red описал обход авторежима Opus 5
- Джейлбрейк обходит секс-фильтр Opus 4.6, но не Opus 5
- Контекст Opus 5 по умолчанию урезан до 0,2 млн токенов
- Opus 5 вышел по цене Opus 4.8 и стал новым дефолтом на Max
- Fable 5.1 отказалась бить манекен, но газ на плиту поставила
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

