OSS Scanner отправил мейнтейнерам 77 критических находок

Anthropic 19 октября подвела первые итоги OSS Scanner, бесплатного сканера уязвимостей для важных опенсорс-проектов. Мейнтейнерам ушли 77 находок с критической оценкой и 803 с высокой. Оценки ставили сами модели, люди отчёты не проверяли.

Подробно сервис описан в посте Anthropic. Работает он только по записи: проект подаёт заявку, после этого его код регулярно проверяют самые сильные модели компании, включая Claude Mythos. В основе опыт, который Anthropic получила, когда искала уязвимости с Claude в рамках Project Glasswing. Сканирование других проектов продолжается.

Что приходит в отчёте

В каждом отчёте есть самодостаточный воспроизводящий пример, объяснение уязвимости и, если получилось, предлагаемый патч. Где возможно, сканер делает бисекцию: по истории коммитов ищет, когда баг появился в коде.

Весь текст отчёта пишет модель, без ручной проверки и сортировки. В Anthropic объясняют это скоростью: так сканировать можно быстрее и чаще. Компания прямо предупреждает, что отчёты при этом могут быть неверными или невалидными.

Образцом послужил OSS-Fuzz от Google, который ищет уязвимости в открытом коде фаззерами, инструментами, подающими программе случайные и искажённые входные данные. OSS Scanner делает то же языковыми моделями. Для компаний у Anthropic есть Claude Security, общедоступный продукт для сканирования и патчинга кода, рассчитанный на защиту корпоративных систем. OSS Scanner проводит аудит опенсорс-проектов бесплатно.

Перед запуском конвейер несколько недель проверяли на десятках опенсорс-проектов. Пробные раскрытия содержали сотни отчётов об ошибках. Несколько уязвимостей Anthropic удалось связать в цепочки, которые дали удалённое выполнение кода без аутентификации.

Почему без людей

За последние полгода Anthropic прогнала свои модели по ряду самых важных программных проектов мира и собрала больше 29 000 кандидатов в уязвимости. Вручную проверить и разобрать удалось примерно 6 000. По словам компании, всё упирается в то, сколько находок могут подтвердить люди.

Тем временем мейнтейнеры, получив первые отчёты, всё чаще просили прислать сразу всё, что есть, с предложенными патчами и без проверки. Таких отчётов Anthropic уже отправила почти 5 000. Спешку компания объясняет тем, что эксплойт теперь можно написать за минуты: проект, который быстрее находит и закрывает дыры, лучше защищён от атакующих, ищущих те же слабые места.

Привычный путь Anthropic сохраняет. Проверенные людьми отчёты по-прежнему идут через координированное раскрытие уязвимостей (CVD), при котором мейнтейнер узнаёт о баге раньше публики. Особенно это касается проектов, у которых нет ресурсов разбирать отчёты самим. OSS Scanner задуман как необязательный ускоренный канал для тех, кто хочет получать отчёты сразу, как только они готовы.

Сколько среди находок ложных

Чтобы проверить раннюю версию сканера, Anthropic отдала пентестерам, которые обычно проверяют её CVD-находки, 97 критических и высоких уязвимостей из 48 проектов. 85 из них (88%) прошли планку обычного процесса раскрытия. Из оставшихся 12 одиннадцать оказались настоящими, но дублировали уже известные проблемы или другие находки того же сканирования. Ложным срабатыванием оказался один отчёт.

Потом многие из этих находок ушли мейнтейнерам, и те, по словам Anthropic, редко называли высокую или критическую находку невалидной. Зато некоторые говорили, что оценки серьёзности бывают завышены или что сканер неправильно понял модель угроз проекта. Компания пишет, что не может гарантировать безупречную работу сканера и будет дорабатывать его по отзывам мейнтейнеров и по мере развития моделей.

Как быстро росли сами модели, Anthropic показывает на академическом бенчмарке CyberGym: в начале прошлого года языковые модели находили на нём меньше 20% уязвимостей, в этом году больше 85%. По словам компании, мейнтейнеры за это время перешли от ИИ-мусора к качественным баг-репортам.

Что говорят мейнтейнеры

Самая конкретная цифра у wolfSSL. Тодд Ауска говорит, что из 74 полученных отчётов «все, кроме двух, оказались валидными, а пять стали CVE». Благодаря приложенным патчам отчёты легли прямо в существующий процесс проверки и исправления. «Мы бы хотели ещё», добавляет он.

Ной Миш из PostgreSQL отмечает, что «необычно большая доля» находок оказалась реальными дефектами PostgreSQL:

К нескольким отчётам прилагались исправления, которые мы можем использовать почти как есть, а ускоренный доступ позволил нам закрыть самые свежие проблемы до того, как они попали в GA-релиз.

Антон Арапов из OpenSSL Corporation сравнивает с тем, что было раньше. «Первые ИИ-отчёты примерно 18 месяцев назад, до Project Glasswing, были ужасны», говорит он. Отчёты Anthropic, включая сырой вывод модели, по его словам, были так же хороши, как присланные людьми, а иногда и лучше. Если к отчёту приложен настоящий эксплойт, инженеру почти нечего делать: проверить его можно сразу.

Эдди Колер из HotCRP называет отчёты «подробными и ясными, с хорошим пониманием сложной модели прав доступа HotCRP» и хорошей расстановкой приоритетов.

Даниэль Стенберг из curl говорит, что команда использует все доступные передовые инструменты, и OSS Scanner помог найти в curl несколько проблем, которые стоило исправить, «включая одну из худших уязвимостей curl, о которых сообщали за последние несколько лет».

Если OSS Scanner не подходит

Для специалистов по безопасности у Anthropic есть Cyber Verification Program: тем, кто проходит отбор, она открывает продвинутые кибервозможности и ослабляет блокирующие классификаторы. Тем, кто собирается чинить найденное, предназначен Claude for OSS: программа бесплатно выдаёт подписки Claude Max 20x на исправление уязвимостей и развитие опенсорс-проектов.

Как подать заявку

Критерии отбора похожи на те, что у OSS-Fuzz: у проекта должно быть «критическое влияние на инфраструктуру и безопасность пользователей», а решение Anthropic принимает по каждому проекту отдельно. Подавать заявку должны основные мейнтейнеры. Для этого открывают пул-реквест в репозиторий OSS Scanner на GitHub по стандартному шаблону проекта, дополнительные пояснения собраны в расширенном FAQ.