Rubrik’s lessons from one month with Mythos Preview

Rubrik по итогам месяца работы с Mythos Preview отказалась от идеи нанимать дополнительных ревьюеров и построила вокруг модели программную обвязку, которая отсеивает находки до передачи инженерам. О результатах эксперимента технический директор и сооснователь Rubrik Арвинд Нитракашьяп рассказал изданию The New Stack.

Коротко

• Rubrik сначала прогоняет через Mythos сканирование всего репозитория, а затем использует его результаты для более точечных проходов, которые отсеивают шум и оставляют только качественные находки.
• Доступ к Mythos Preview получают только проверенные партнёры по приглашению; Rubrik вошла в Project Glasswing в июне, когда Anthropic расширила программу примерно до 150 организаций в 15 странах.
• Автоматическое исправление ограничили намеренно узким набором классов уязвимостей, где машинные правки надёжны и хорошо описаны; всё остальное направляется инженерным командам, где финальное решение остаётся за человеком.

Почему это важно. Опыт Rubrik выглядит как ранний сигнал для корпоративных команд безопасности: узкое место смещается с обнаружения на разбор и исправление. Если модель находит уязвимости быстрее, чем инженерные команды успевают их закрывать, основную ценность создаёт слой вокруг модели, который фильтрует поток находок и расставляет приоритеты. Вероятно, ближайшие перемены в рабочих процессах затронут именно фильтрацию и маршрутизацию находок, а не расширение штата ревьюеров.

Mythos находил цепочки уязвимостей, которые пропускали привычные инструменты Rubrik

По словам Нитракашьяпа, модель сразу начала находить сложные цепочки уязвимостей, ускользавшие от привычных инструментов и методик компании. Среди них связи между компонентами в крупных кодовых базах, которые не выявляет ни рутинное сканирование, ни разбор одного инженера. Рост числа находок создал узкое место в приоритизации, к которому инженерная команда Rubrik не была готова.

Первой реакцией стало желание рассматривать происходящее как нехватку рук: в Rubrik обсуждали наём дополнительных людей для разбора возросшего объёма находок. От плана отказались быстро: по словам Нитракашьяпа, устранение уязвимостей силами людей не способно идти в темпе, который задаёт обнаружение на скорости ИИ.

Доступ к Mythos Preview есть только у проверенных партнёров, приглашённых в Project Glasswing; Rubrik вошла в этот список в июне, когда Anthropic расширила программу примерно до 150 организаций в 15 странах. После подключения в Rubrik собрали межфункциональную команду из инженеров и специалистов по информационной безопасности, сделав ставку на автоматизацию вместо расширения штата ревьюеров.

Обвязка вокруг Mythos управляет вызовами инструментов и контрольными точками

Главной задачей было построить эффективную обвязку, которая управляет вызовами инструментов и контрольными точками, добавляет бизнес-контекст, контекст безопасности и границы доверия. Нитракашьяп описывает это как программный слой вокруг Mythos, сокращающий число находок, которые в итоге попадают к инженерам на разбор и исправление.

Сначала команда Rubrik запускает через Mythos скан всего репозитория, а первичные находки задают параметры для последующих, более узких проходов. Именно эти проходы, по словам Нитракашьяпа, отсеивают шум, после чего к профильным командам уходят только качественные находки с уже расставленными приоритетами. Рабочий процесс, доводящий до инженеров приоритетные и пригодные к действию находки, сложился в Rubrik только после появления этих точечных проходов.

Автоматическое исправление ограничено узким набором классов уязвимостей

Как ни странно, вопрос о том, что не автоматизировать, возникал довольно часто, говорит Нитракашьяп. Он описывает противоречие между доверенной автоматизацией и максимальной автоматизацией: чтобы сохранить доверие, в Rubrik ограничили автоматическое исправление намеренно узким набором классов уязвимостей, где машинные правки надёжны и чётко определены.

По автоматическому маршруту проходят только те уязвимости, которые попадают в эти заранее определённые классы. Всё остальное, что находит Mythos, уходит в инженерные команды, где финальное исправление остаётся за человеком. Нитракашьяп утверждает, что темпы обнаружения уязвимостей моделью недостижимы для ручного устранения, поэтому автоматизация, идущая в ногу с обнаружением, остаётся единственным путём вперёд.

Итог месяца работы, по словам Нитракашьяпа, в том, что ИИ повышает требования к инженерной строгости в системах вокруг него. Адаптация требует встраивания структурного контекста прямо в обвязку и построения механизмов, которые классифицируют и фильтруют находки Mythos, превращая их в пригодные к действию сигналы для исправления.

Что дальше. Расширится ли перечень классов уязвимостей, которым разрешён автоматический путь исправления, не сообщается, как и планы Anthropic по дальнейшему расширению Project Glasswing. Из рассказа Нитракашьяпа не следует, сколько находок в итоге доходит до инженеров и какая их доля закрывается машинными правками. Выводы, о которых он рассказал, опираются на один месяц работы с Mythos Preview, который Anthropic называет своей самой способной моделью.