Claude нашёл 29 000 возможных багов, исправлены пока 516

За полгода модели Anthropic нашли в открытом коде больше 29 000 возможных уязвимостей, а исправлены в самих проектах, по данным The New Stack, только 516. В анонсе OSS Scanner от Anthropic компания признаёт, что упирается в людей: вручную удалось проверить около 6 000 находок.

Коротко

• Anthropic запускает OSS Scanner: бесплатные регулярные проверки важных open source проектов сильнейшими моделями, включая Claude Mythos. Отчёты уходят мейнтейнерам сразу, без ручной проверки и сортировки.
• По данным The New Stack, к 2 октября внешние фирмы проверили 6 123 находки и подтвердили 5 674. Мейнтейнерам отправили 6 157 находок, выдано 584 идентификатора CVE и GitHub Security Advisory.
• Из 97 критических и серьёзных находок ранней версии сканера ложной оказалась одна. Часть мейнтейнеров при этом жалуется на завышенную серьёзность и непонимание модели угроз проекта.

Если вы не следили: сканер вырос из опыта, который Anthropic набрала в Project Glasswing. По данным SecurityWeek, в одном из прошлых отчётов Anthropic говорила о больше чем 23 000 потенциальных уязвимостей, которые Mythos Preview нашла в более чем 1 000 проектов. Внешние фирмы тогда проверили 1 900 из них и подтвердили 1 726, а исправлено было лишь 75 критических и серьёзных. Как пишет SecurityWeek, Anthropic признавала, что Mythos Preview добавляет работы и без того перегруженной экосистеме.

Из 29 000 кандидатов люди разобрали около 6 000

Последние полгода Anthropic прогоняла свежие модели через одни из самых важных программных проектов в мире и набрала больше 29 000 кандидатов в уязвимости. Вручную проверить и отсортировать удалось примерно 6 000. В Anthropic прямо пишут, что упираются в число людей, способных подтвердить находки.

The New Stack уточняет, что находки воспроизводят и сортируют шесть внешних фирм, которые занимаются исследованиями безопасности. На 2 октября они разобрали 6 123 находки и признали валидными 5 674. Мейнтейнерам отправили 6 157 находок, выдано 584 идентификатора CVE и GitHub Security Advisory, причём часть находок получила и то и другое.

К той же дате, по данным издания, в апстриме исправили 516 уязвимостей, а около 23 000 кандидатов люди ещё не смотрели. Сама Anthropic ссылается на академический бенчмарк CyberGym: в начале прошлого года модели находили на нём меньше 20% уязвимостей, в этом году находят больше 85%. По словам компании, вместо мусора мейнтейнеры получают от LLM качественные отчёты.

Почти 5 000 непроверенных отчётов мейнтейнеры попросили сами

Мейнтейнеры, получив первые отчёты Anthropic, всё чаще просят прислать оптом всё остальное, даже непроверенное, вместе с предложенными патчами. По таким просьбам Anthropic отправила уже почти 5 000 отчётов. Спешку в компании объясняют тем, что эксплойт сегодня пишется за минуты, и защищён лучше тот проект, который быстрее находит и закрывает дыру.

Эту практику Anthropic и оформила в OSS Scanner. Подключившиеся проекты бесплатно получают регулярные проверки сильнейшими моделями, включая Claude Mythos. Отчёты целиком пишет модель, их никто не проверяет вручную, поэтому часть из них, как предупреждает Anthropic, может оказаться ошибочной.

Старый путь остаётся. Проверенные людьми отчёты Anthropic продолжит отправлять через координированное раскрытие уязвимостей (CVD), когда о находке сначала сообщают мейнтейнеру и только потом её публикуют. Особенно это нужно проектам, которым некому разбирать отчёты самим. Быстрая дорожка подключается по желанию проекта.

Рядом работают ещё две программы. Cyber Verification Program даёт проверенным специалистам по безопасности продвинутые кибервозможности и ослабленные блокирующие классификаторы. Claude for OSS раздаёт мейнтейнерам бесплатные подписки Claude Max 20x, чтобы им было проще исправлять уязвимости.

Из 97 проверенных находок сканера ложной оказалась одна

Чтобы проверить раннюю версию сканера, Anthropic отдала 97 критических и серьёзных уязвимостей из 48 проектов пентестерам, которые обычно проверяют её CVD-находки. Планку CVD прошли 85, то есть 88%. Из остальных 12 одиннадцать оказались настоящими багами, но повторяли известные проблемы или другие находки того же прогона, и только одна была ложной тревогой.

По словам Anthropic, мейнтейнеры редко называли критическую или серьёзную находку невалидной. Некоторые, правда, жаловались на завышенную серьёзность и на то, что сканер неверно понял модель угроз проекта. The New Stack оговаривает, что выборка мало говорит о находках низкой серьёзности и о работе сканера в масштабе.

Отзывы мейнтейнеров публикует сама Anthropic. Тодд Оуска из wolfSSL пишет, что из 74 полученных отчётов валидными оказались все, кроме двух, и пять стали CVE. Ной Миш из PostgreSQL отмечает необычно высокую долю реальных дефектов и фиксы, которые можно брать почти без правок. Быстрая дорожка помогла его команде закрыть свежие проблемы до GA-релиза.

Антон Арапов из OpenSSL Corporation называет ИИ-отчёты полуторагодовой давности ужасными, а нынешние, включая сырой вывод модели, равными присланным людьми, а иногда и лучше. Дэниел Стенберг пишет, что сканер нашёл в curl одну из худших уязвимостей проекта за последние годы. По данным SecurityWeek, в более ранней проверке Mythos нашла в curl лишь одну уязвимость низкой серьёзности.

OSS Scanner устроен по образцу OSS-Fuzz от Google

Образцом Anthropic называет OSS-Fuzz. Он ищет уязвимости фаззерами, то есть программами, которые засыпают код случайными и испорченными входными данными. OSS Scanner ищет те же уязвимости языковыми моделями. Claude Security остаётся отдельным общедоступным продуктом, который помогает компаниям защищать свои системы.

В отчёте есть самодостаточный пример, воспроизводящий баг, и объяснение уязвимости. Где возможно, к объяснению прилагается бисекция, а если модель смогла его написать, то и кандидат в патч. Бисекция похожа на поиск дня, когда потекла труба: проверяете середину срока и делите его пополам, пока не найдёте коммит с ошибкой.

Несколько недель конвейер обкатывали на десятках проектов. Первые раскрытия дали сотни отчётов, а несколько уязвимостей удалось связать в цепочки, ведущие к удалённому выполнению кода без аутентификации. Основные мейнтейнеры подают заявку через PR в репозиторий на GitHub по шаблону. Критерии близки к OSS-Fuzz, решение принимают по каждому проекту отдельно.

Разрыв между 5 674 подтверждёнными и 516 исправленными уязвимостями, судя по всему, переносит узкое место с проверяющих на мейнтейнеров: фикс всё равно надо протестировать, бэкпортировать и выпустить. На наш взгляд, бесплатная подписка Claude Max 20x помогает тут слабо, потому что времени на эту работу она не добавляет.

Когда разберут оставшиеся 23 000

Сроков Anthropic не называет. Компания пишет, что работает над масштабированием раскрытий и будет дорабатывать сканер по отзывам мейнтейнеров и по мере того, как растут модели. Сколько проектов примут в OSS Scanner, как часто их будут сканировать и когда люди доберутся до оставшихся кандидатов, пока неизвестно.