Перейти к содержанию

Безопасность ИИ

Джейлбрейки для кибератак получили шкалу опасности от FMF

2 мин чтения

Текст написан ИИ-моделью по источникам, на которые ведут ссылки, и сверен с ними второй моделью. Как мы работаем

Всё о теме: OpenAI: модели и продукты →
Изображение: x.com

Frontier Model Forum 6 ноября опубликовал версию 1.0 методики, по которой оценивают опасность успешных киберджейлбрейков. До 21 декабря внешние эксперты и организации могут прислать замечания на comments@frontiermodelforum.org. Сам FMF называет методику предварительной: форум ещё проверяет, приходят ли разные оценщики к похожим рейтингам и отражают ли эти рейтинги реальную разницу в риске.

Джейлбрейк в терминах FMF - воспроизводимый приём, который открывает возможности или сведения, закрытые защитой модели. Успешные джейлбрейки при этом неравноценны: одни дают ответы почти без практической пользы, другие могут открыть злоумышленнику опасные киберспособности. Без общей методики, объясняют в форуме, организации по-разному оценивают один и тот же джейлбрейк, с трудом сравнивают находки и тратят ограниченные ресурсы на мелкие проблемы раньше, чем на серьёзные угрозы.

Оценка многоуровневая и складывается из баллов по четырём категориям: прирост возможностей, их охват, простота применения и простота обнаружения. Первые две категории описывают, что открывает джейлбрейк, две последние - насколько легко его пустить в ход и найти. Методика рассчитана на разработчиков ИИ, исследователей безопасности и регуляторов, которым нужно сопоставлять находки и решать, какие обходы закрывать первыми.

Версия 1.0 - первый выпуск. Форум будет прогонять методику на разных джейлбрейках и обновлять её по мере того, как появляются новые приёмы, меняются старые и накапливаются эмпирические данные. Присланные в срок отзывы FMF обещает разобрать вместе с компаниями-участницами и учесть подходящие в обновлённой версии.

Работу над методикой FMF объясняет ростом киберспособностей frontier-моделей: те же навыки, что помогают защитникам находить уязвимости, могут пригодиться атакующим. Незадолго до анонса OpenAI отнесла GPT-6 Cyber к уровню Critical по своей Preparedness Framework, у GPT-5.6 Cyber был High.

Сам форум 26 июля 2023 года основали Anthropic, Google, Microsoft и OpenAI как отраслевую организацию по безопасной разработке frontier-моделей. Новую методику публично поддержали представители всех четырёх, а также Amazon Web Services. Об участии в разработке прямо говорят Amazon, Google DeepMind и OpenAI. Сара Хек, глава по связям с общественностью Anthropic, благодарит экспертов по безопасности из компаний-участниц, которые методику собрали.

Харт Россман, вице-президент AWS по безопасности, говорит: «Мы давно знаем, что обходы защитных ограничений сильно различаются по серьёзности, но до сих пор не было согласованной методики оценки их последствий». Оуэн Лартер из Google DeepMind ждёт, что организации смогут одинаково оценивать джейлбрейки и в первую очередь заниматься самыми рискованными. Наташа Крэмптон из Microsoft считает, что методика закладывает основу для поиска самых серьёзных угроз и для расстановки приоритетов при исправлениях.

Саша Бейкер, руководитель политики в области национальной безопасности OpenAI, формулирует задачу через те же критерии, что заложены в методику: «Эта методика - важный шаг к общей методологии оценки и сравнения серьёзности киберджейлбрейков, включая то, какие возможности они открывают и насколько легко ими воспользоваться».

AI-индустрияКодинг-агенты

Cursor сам разворачивает приложения агентов по ссылке

Большинство приложений, собранных агентами, так и не уходит с localhost, признаёт Cursor. Его облачный агент сам поднимает базу, вход и хостинг, но ничего не публикует, пока не пройдут проверки безопасности. Сколько ваших приложений, собранных агентом, так и живёт на localhost?

Пока никто не написал. Будьте первым.

Присоединяйтесь к разговору

Войдите, чтобы оставить комментарий. Он появится после модерации.