Джейлбрейки для кибератак получили шкалу опасности от FMF

Frontier Model Forum 6 ноября опубликовал версию 1.0 методики, по которой оценивают опасность успешных киберджейлбрейков. До 21 декабря внешние эксперты и организации могут прислать замечания на comments@frontiermodelforum.org. Сам FMF называет методику предварительной: форум ещё проверяет, приходят ли разные оценщики к похожим рейтингам и отражают ли эти рейтинги реальную разницу в риске.
Джейлбрейк в терминах FMF - воспроизводимый приём, который открывает возможности или сведения, закрытые защитой модели. Успешные джейлбрейки при этом неравноценны: одни дают ответы почти без практической пользы, другие могут открыть злоумышленнику опасные киберспособности. Без общей методики, объясняют в форуме, организации по-разному оценивают один и тот же джейлбрейк, с трудом сравнивают находки и тратят ограниченные ресурсы на мелкие проблемы раньше, чем на серьёзные угрозы.
Оценка многоуровневая и складывается из баллов по четырём категориям: прирост возможностей, их охват, простота применения и простота обнаружения. Первые две категории описывают, что открывает джейлбрейк, две последние - насколько легко его пустить в ход и найти. Методика рассчитана на разработчиков ИИ, исследователей безопасности и регуляторов, которым нужно сопоставлять находки и решать, какие обходы закрывать первыми.
Версия 1.0 - первый выпуск. Форум будет прогонять методику на разных джейлбрейках и обновлять её по мере того, как появляются новые приёмы, меняются старые и накапливаются эмпирические данные. Присланные в срок отзывы FMF обещает разобрать вместе с компаниями-участницами и учесть подходящие в обновлённой версии.
Работу над методикой FMF объясняет ростом киберспособностей frontier-моделей: те же навыки, что помогают защитникам находить уязвимости, могут пригодиться атакующим. Незадолго до анонса OpenAI отнесла GPT-6 Cyber к уровню Critical по своей Preparedness Framework, у GPT-5.6 Cyber был High.
Сам форум 26 июля 2023 года основали Anthropic, Google, Microsoft и OpenAI как отраслевую организацию по безопасной разработке frontier-моделей. Новую методику публично поддержали представители всех четырёх, а также Amazon Web Services. Об участии в разработке прямо говорят Amazon, Google DeepMind и OpenAI. Сара Хек, глава по связям с общественностью Anthropic, благодарит экспертов по безопасности из компаний-участниц, которые методику собрали.
Харт Россман, вице-президент AWS по безопасности, говорит: «Мы давно знаем, что обходы защитных ограничений сильно различаются по серьёзности, но до сих пор не было согласованной методики оценки их последствий». Оуэн Лартер из Google DeepMind ждёт, что организации смогут одинаково оценивать джейлбрейки и в первую очередь заниматься самыми рискованными. Наташа Крэмптон из Microsoft считает, что методика закладывает основу для поиска самых серьёзных угроз и для расстановки приоритетов при исправлениях.
Саша Бейкер, руководитель политики в области национальной безопасности OpenAI, формулирует задачу через те же критерии, что заложены в методику: «Эта методика - важный шаг к общей методологии оценки и сравнения серьёзности киберджейлбрейков, включая то, какие возможности они открывают и насколько легко ими воспользоваться».
Дальше
Cursor сам разворачивает приложения агентов по ссылке
Большинство приложений, собранных агентами, так и не уходит с localhost, признаёт Cursor. Его облачный агент сам поднимает базу, вход и хостинг, но ничего не публикует, пока не пройдут проверки безопасности. Сколько ваших приложений, собранных агентом, так и живёт на localhost?
Читайте также
- Модель GPT-6 Cyber от OpenAI нашла 81 уязвимость в Firefox
- Уровень Critical по кибербезопасности не исключён
- OpenAI пустила четыре лаборатории внутрь своих моделей
- OpenAI гасит исследовательские задачи моделей за 35 секунд
- OpenAI нашла 948 путей к root в ядре Linux
- Мониторы OpenAI в повторе сработали за 30 часов до взлома
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

