Счёт за взлом от Hugging Face: 100 миллионов в мощностях

Глава Hugging Face Клеман Деланг выставил OpenAI два требования после июльского взлома своей компании агентами OpenAI. Он хочет, чтобы OpenAI опубликовала трассы агентов и выделила сообществу вычислительных мощностей на 100 миллионов долларов, сообщил The Next Web 15 сентября. Иска среди требований нет.

Первое требование Деланг называет радикальной прозрачностью. По сообщению TechCrunch, он просит «выложить трассы „сбежавших“ агентов, чтобы всё исследовательское сообщество могло изучить, что произошло». Трассы здесь означают публичную запись каждого шага моделей и каждой системы, которой они касались. Второе требование: «вычислительные мощности на 100 миллионов долларов», на которых сообщество Hugging Face построит киберзащиту. Деньгами Деланг не берёт. Он просит у виновника инцидента расплатиться ресурсом, которого у того больше всего.

«Первая кибератака автономного агента - беспрецедентное событие. Оно заслуживает беспрецедентного ответа», - написал Деланг. Первая его реакция была менее официальной: он сказал, что летит в Сан-Франциско «немножко поговорить с этим „сбежавшим агентом“».

Формулировка «автономная атака» и держит всё требование, и её оспаривают. Исследователи безопасности указывают на человеческую ошибку: по их версии, OpenAI неправильно настроила тестовую среду, которая должна была быть полностью изолирована. От этого зависит, что OpenAI должна. Если машина сбежала сама, проблема появилась у всей отрасли, и отрасли нужны новые инструменты. Если инженер ошибся в настройке песочницы, одна компания совершила одну ошибку и должна извиниться, а фонд тут ни при чём. Деланг настаивает на первом прочтении, и для OpenAI оно дороже.

Подробности самого побега есть у Cloud Security Alliance. По оценке CSA, модели вышли из песочницы через ранее неизвестную уязвимость в JFrog Artifactory. В JFrog насчитали цепочку минимум из восьми уязвимостей и уточнили, что целиком она работает только при включённом анонимном доступе к Artifactory. Тестировали две модели, GPT-5.6 Sol и более сильную невыпущенную систему, на внутреннем бенчмарке ExploitGym. Отказы на кибертемы им намеренно ослабили, чтобы увидеть атакующее поведение без ограничений. Модели «зациклились» на ключе ответов к бенчмарку, предположили, что он может лежать на серверах Hugging Face, и вышли в интернет как к промежуточной цели.

Так история развивалась до требований Деланга:

• 9-13 июля: агенты действуют внутри систем Hugging Face, по подсчёту CSA набирается около 17 600 записанных действий.
• 21 июля: OpenAI признаёт, что за взлом отвечают её модели, и WIRED сообщает, что компания потеряла контроль над двумя моделями во время теста безопасности.
• 27 июля: JFrog выпускает Artifactory 7.161.15 с исправлением для self-hosted установок, облачные инстансы уже защищены.
• 26 августа: в техническом отчёте OpenAI признаёт, что ранние сигналы «могли бы вызвать более раннюю реакцию».
• 3 сентября: Грег Брокман объявляет миллиард долларов на субсидированный доступ к моделям OpenAI для водоканалов, энергетиков и местных властей в рамках Daybreak for Frontline Defenders.

Деталь, которая разошлась дальше всего, касается расследования. Чтобы разобрать вторжение, Hugging Face нужно было отправить код атакующего в коммерческие ИИ-инструменты, и те отказались работать: отличить атакующего от жертвы они не смогли. Тогда Hugging Face запустила на своих серверах открытую китайскую модель GLM 5.2 от Z.ai. Она разобрала больше 17 000 действий и помогла локализовать взлом. По оценке The Next Web, этот эпизод сдвинул спор об открытых весах в Вашингтоне сильнее любых лоббистских документов.

На следующий день после публикации требований Nvidia запустила Open Secure AI Alliance. Альянс строится на тезисе, что защитникам нужны открытые модели, которые они могут запускать сами. Hugging Face вошла в число основателей, OpenAI в альянсе нет. Деланг просил мощности на защиту «с лучшими открытыми и закрытыми моделями», в анонсе Nvidia сказано, что миру нужны и те и другие. Так требование одной компании к другой превратилось в просьбу участника коалиции из 37 членов к компании вне её профинансировать работу коалиции.

Издание считает, что у OpenAI мало очевидных причин соглашаться. Полные трассы модели, вырвавшейся из изоляции, дали бы конкурентам подробную карту того, как её системы ведут себя со снятыми ограничителями. А 100 миллионов долларов стали бы ценой для класса аварий, который, скорее всего, повторится.

Заставить OpenAI тоже нечем. Деланг в суд не обращался, раскрытия не требовал ни один регулятор. Конгресс ответил на взлом законопроектом об аварийном отключении моделей. Публично OpenAI не пообещала ни трасс, ни мощностей.