Поток находок Mythos перегрузил инженеров Rubrik

Первый месяц работы Rubrik с Claude Mythos Preview упёрся не в возможности модели, а в собственный процесс исправлений компании: находок оказалось больше, чем успевали разобрать инженеры. Об этом технический директор и сооснователь Rubrik Арвинд Нитракашьяп рассказал в интервью The New Stack, опубликованном 13 августа. Там же он описал, как компания выстроила вокруг модели конвейер, который отсеивает лишнее до того, как находки попадут к людям.
По его словам, Mythos сразу стал находить сложные цепочки уязвимостей, которые проходили мимо привычных инструментов и методик Rubrik. Среди них были связи между компонентами в больших кодовых базах, которые не ловит ни обычное сканирование, ни ревью одного инженера. Похожее в мае описывали в крупных банках США, где модель собирала из нескольких мелких уязвимостей одну критическую угрозу.
«Когда мы впервые увидели перечень потенциальных проблем, первым порывом было отнестись к этому как к нехватке ресурсов», - говорит Нитракашьяп. Rubrik даже думала нанять дополнительных проверяющих. Передумали быстро: «Мы быстро отказались от этого плана, когда поняли, что устранение силами людей никак не угонится за обнаружением на скорости ИИ».
Mythos Preview доступен только проверенным партнёрам, которых пригласили в Project Glasswing. Rubrik попала в этот список в июне, когда Anthropic расширила проект примерно до 150 организаций в 15 странах. По сообщению CNBC, тогда же Anthropic заявила, что партнёры Glasswing с момента запуска выявили более 10 000 уязвимостей высокого или критического уровня. Проект Anthropic представила 7 апреля, так что речь примерно о двух месяцах работы.
Вместо того чтобы наращивать штат проверяющих, Rubrik собрала смешанную команду из инженеров и специалистов по информационной безопасности и опиралась на автоматизацию везде, где это возможно. «Главным было построить эффективную обвязку, которая управляет вызовами инструментов и контрольными точками, добавляет бизнес-контекст, контекст безопасности и границы доверия», - объясняет Нитракашьяп. Обвязкой он называет программный слой вокруг Mythos. Задача этого слоя - сократить число находок, которые в итоге доходят до инженеров на проверку и исправление.
Работает он в несколько этапов. Сначала Mythos сканирует репозиторий целиком. Первые находки задают направление следующим проходам, и каждый новый проход уже предыдущего. На этих проходах отсеивается шум, а до нужных команд доходят только качественные находки, сразу с приоритетом. Модель Rubrik получила почти сразу, а рабочий процесс, который передаёт инженерам срочные и пригодные к исправлению находки, появился, по словам Нитракашьяпа, только после того, как добавили узкие проходы.
Труднее оказалось решить, что отдавать машине. «Как ни странно, на вопрос, что не автоматизировать, мы натыкались довольно часто», - говорит Нитракашьяп. Он видит противоречие между надёжной автоматизацией и максимальной. Чтобы сохранить доверие, Rubrik ограничила автоматическое исправление узким, сознательно выбранным набором классов уязвимостей, где машинные правки очень надёжны и чётко определены. Автоматический путь открыт только находкам из этих заранее заданных классов. Всё остальное, что поднимает Mythos, уходит инженерным командам, и окончательное исправление остаётся за человеком.
The New Stack делает из опыта Rubrik вывод, что большинство существующих инженерных процессов, скорее всего, не готовы к той скорости, с которой модель находит уязвимости. Чтобы под неё подстроиться, придётся встраивать структурный контекст прямо в обвязку и строить системы, которые сортируют и фильтруют находки Mythos до пригодных к исправлению. Сам Нитракашьяп формулирует это так: «Mythos показал нам, что ИИ на самом деле повышает требования к инженерной строгости в системах, которые его окружают».
Дальше
Разбор токенизатора Claude: слова в маркерах ^ и $
«Токенизатор Claude остаётся загадкой», пишет автор разбора, тем более после роста стоимости токенов простого английского текста более чем на 40%. По реконструкции «telecommunications» стоит один токен, а «telecommunicationsy» уже четыре.
Читайте также
- Claude Mythos 5 ищет уязвимости в прошивках Oxide
- Слабости в HAWK и AES нашли с помощью Claude
- Claude Security сканирует код постоянно и следит за фиксами
- Anthropic открывает Claude для пентестов и red-teaming
- Claude Security сканирует репозитории на Mythos 5
- Anthropic Plans to Change Data Retention Policy for Advanced AI
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

