Anthropic шлёт опенсорсу находки моделей без ручной проверки

8 октября Anthropic запустила Cyber Mission, долгосрочную программу помощи тем, кто защищает критическую инфраструктуру и открытый код. Для опенсорса в ней главное - OSS Scanner: проекты, которые сами запишутся, будут бесплатно и регулярно проверяться самыми сильными моделями компании, говорится в анонсе Anthropic. Отчёты уходят мейнтейнерам без проверки человеком, поэтому сервис рассчитан на команды, которые успевают разбирать поток находок. Остальные проекты по-прежнему будут получать проверенные людьми отчёты через процесс скоординированного раскрытия уязвимостей.
Кому подходит сканер
Сервис появился по просьбе самих мейнтейнеров. Часть из тех, кто может разбирать находки в больших объёмах, попросила у Anthropic всё, что модели нашли в их проекте, проверенное людьми или нет. OSS Scanner сделан по образцу OSS-Fuzz от Google, и проекты в него отбирают по похожим правилам: каждый смотрят отдельно, в первую очередь те, что связаны с критической инфраструктурой или безопасностью. Учитывают, доступен ли код удалённо и сколько пользователей и проектов от него зависят.
В каждом отчёте есть proof of concept (рабочий пример того, как баг можно эксплуатировать), объяснение и предложенный фикс, если модель смогла его сделать. Отчёты целиком генерирует модель, поэтому до мейнтейнеров они доходят быстрее, но в некоторых будут ошибки, например неверная оценка серьёзности. Anthropic ожидает, что доля верных срабатываний превысит 90%, и обещает со временем поднимать и её, и качество фиксов. Как устроен сервис и как записаться, команда объясняет в отдельном посте.
Бесплатным сканер остаётся за счёт Defender Advantage Fund (0xDAF), фонда, который Anthropic открыла в августе; из него же финансируют пилотные программы. Дальше компания собирается подключить больше проектов, автоматизировать триаж и патчинг (пока это в основном ручная работа) и исследовать способы укреплять или переписывать код для тех, кому мало точечных исправлений. Деньги получили Python Software Foundation, Alpha-Omega и OpenSSF через Linux Foundation, Apache Software Foundation, а ещё Akrites и Gold Eagle: они собирают отчёты об уязвимостях из многих источников и координируют их, чтобы мейнтейнеров не завалило. Сами мейнтейнеры могут подать заявку в Claude for Open Source на бесплатную подписку Max и в Cyber Verification Program, чтобы получить расширенный доступ к кибервозможностям Claude для защиты.
Что не получилось у Glasswing
В Project Glasswing Anthropic просканировала сотни популярных открытых проектов. Люди разобрали и проверили многие из потенциальных уязвимостей, а найденное приватно передали мейнтейнерам. Уязвимостей нашли много, но риск, по признанию самой Anthropic, снизился недостаточно: находить баги уже проще, чем когда-либо, а проверять, расставлять приоритеты и исправлять по-прежнему трудно. В начале той же недели Glasswing влили в расширенную Cyber Verification Program, через которую проверенные защитники получают доступ к самым сильным моделям компании.
Цена разрыва между находкой и фиксом уже видна: в начале октября дыру в Rejetto HFS, найденную Mythos, начали атаковать через сутки после публикации её разбора.
Энергосети и водоканалы
Вторая часть миссии касается операционных технологий: контроллеров, управляющего ПО и промышленных сетей, на которых работают энергосети, водоканалы, заводы и транспорт. Такие системы строят на десятилетия, и их часто нельзя отключить для патча, поэтому известные уязвимости остаются открытыми годами. Оборудование проприетарное, любое изменение рискованно, а ошибка, как пишет Anthropic, может остановить завод.
Поэтому Critical Infrastructure Defense Program (CIDP) работает не с операторами напрямую, а через поставщиков, которым они уже доверяют: этим компаниям Anthropic даёт модели Claude, своих инженеров на месте и данные собственных исследований угроз. Партнёров-основателей одиннадцать: Accenture, Booz Allen, CrowdStrike, Deloitte, Dragos, Hitachi, Insane Cyber, Nozomi Networks, Palo Alto Networks, PwC и Rockwell Automation. Начинают с небольшой группы, чтобы понять, какие подходы работают на практике, хотя несколько партнёров уже исправляют уязвимости с Claude и помогают делать это клиентам. Компании, которые делают продукты или услуги безопасности для критической инфраструктуры, могут оставить заявку на участие.
В цитате от Palo Alto Networks повторяется общий мотив партнёров: злоумышленники используют ИИ, чтобы находить и эксплуатировать уязвимости «с машинной скоростью». Есть и предыстория на госуровне: в июне Anthropic открыла программу киберзащиты для властей штатов, местных, племенных и территориальных органов США. С тех пор модели Claude и техническую поддержку получили больше половины штатов и несколько крупнейших публичных операторов инфраструктуры.
Ограничения подхода Anthropic называет сама: критическую инфраструктуру «во многом трудно защищать так, что ИИ этого не исправит».
Дальше
У 722 математических статей OpenAI нет адреса для писем
Два результата из статьи на arXiv обобщили в рукописях OpenAI, не упомянув первоисточник, говорит её автор. Поддержка OpenAI ответила ему, что переслать письмо исследователям и дать адрес для переписки не может.
Читайте также
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

