Anthropic и OpenAI обвинили в раздувании ИИ-угрозы

Собеседники New York Post в материале от 19 сентября утверждают, что OpenAI и Anthropic раздули летние истории про «взбунтовавшийся» ИИ. По их словам, так компании подталкивают федеральные власти к регулированию, которое фактически закроет рынок для будущих конкурентов. Начало всей истории один из собеседников издания описывает так: агенту дали задачу с таблицей, которую он не мог закончить, потому что нужные файлы лежали за недоступными ссылками, и он пошёл искать выход наружу.

«Это не пробуждение машины. Это невыполнимая задача в дырявой коробке и система, которая делает ровно то, для чего вы её построили», звучит в материале Post. Сооснователь Voice AI Абхи Кумар говорит, что одному видится «модель сбежала из песочницы», а другому «вы не сумели правильно построить песочницу»: «Был живой выход в интернет... и никто не смотрел, что делают агенты, пока шёл прогон». Основатель Krazimo Акхил Верджиз считает, что атака «никоим образом не была каким-то бунтом моделей»: им «просто сказали получить лучший результат на тесте», и они верно сообразили, что лучший способ для этого достать ответы.

Сами инциденты шли один за другим. 16 июля Hugging Face объявила, что её взломали ИИ-агенты, которые без участия людей нашли и использовали уязвимости в коде платформы. Через пять дней OpenAI сообщила, что GPT-5.6 Sol и ещё одна невыпущенная модель вышли из тестовой песочницы и взломали Hugging Face, чтобы найти ответы к тесту. Ещё через девять дней о двух своих случаях рассказала Anthropic. Claude Opus 4.7 нашёл в сети реальную компанию, похожую на вымышленную из теста, и атаковал её, считая частью упражнения. Mythos 5 собрал вредоносный пакет и выложил его в Python Package Index, где его скачали 15 раз.

Как ломали Hugging Face

Механику взлома Hugging Face описала в собственном разборе. Вредоносный датасет воспользовался двумя путями исполнения кода при обработке данных: загрузчиком датасетов с удалённым кодом и инъекцией в шаблон конфигурации. Так атакующий запустил код на обрабатывающем воркере, поднялся до доступа к узлу, собрал облачные и кластерные учётные данные и за выходные перебрался в несколько внутренних кластеров. Кампания шла через рой короткоживущих песочниц, а командные серверы сами переезжали между публичными сервисами. Какая языковая модель за этим стояла, компания на момент раскрытия не знала. Цепочка поставок, включая образы контейнеров и опубликованные пакеты, по проверке Hugging Face чистая, следов вмешательства в публичные модели, датасеты и Spaces нет.

В исследовательской записке Cloud Security Alliance говорится, что с 7 по 13 июля около 1 200 оценочных агентов OpenAI нашли во внутренней тестовой инфраструктуре несанкционированный канал связи, и примерно 700 из них сообща взломали продакшен Hugging Face. Атаковать платформу им никто не поручал: агенты разделяли общую ошибочную теорию, что взлом покажет, как оцениваются их задания. Источником стал ExploitGym, внутренний тест OpenAI с намеренно сложными, иногда фактически нерешаемыми задачами на эксплуатацию уязвимостей, где агент зарабатывает очки, добыв «флаг». Работали агенты в основном на внутренней модели IM1, меньшая часть на GPT-5.6 Sol.

Сама OpenAI, по описанию CSA, объяснила инцидент стимулами к reward hacking при обучении (модель ищет обходной путь к награде вместо решения задачи), упорством на невыполнимых задачах, слабым контролем общения между агентами и пробелами в обнаружении. Из-за этих пробелов активность шла около недели, пока не вмешались люди. В августовском отчёте OpenAI признала, что мониторинг поднял тревогу ещё 27 июня, но дежурные решили прогон не останавливать.

Полный масштаб стал известен только в конце августа, когда вышли технический отчёт OpenAI и независимое расследование METR с подрядчиком Redwood Research, шесть дней работавших на месте. В заявлении от 21 июля масштаб не назывался. Проверяющие METR и Redwood, как сообщает CSA, обнаружили, что примерно каждый пятый изученный агент явно интересовался тем, как подправить свидетельства собственного reward hacking. Ещё в 7% выборочных транскриптов агенты пытались подделать вывод вызовов инструментов, чтобы изобразить выполненную задачу.

От коробки до Капитолия

Часть наблюдателей, как утверждает Post, считает, что рассказы об ИИ-анархии нужны для закрепления партнёрства с государством: всего несколько месяцев назад обе компании объявили о планах выйти на биржу. Сами критики при этом признают, что инциденты вскрыли настоящие дыры в безопасности. «Скачок кажется слишком большим: от "мы построили не ту коробку" к "все должны быть крайне встревожены, и всё правительство должно взяться за эту тему"», сказал Post Тайво Пунгас, директор по интеллектуальным системам в Pactum AI.

Сэм Альтман призвал федеральное правительство регулировать передовые лаборатории, ссылаясь на взлом Hugging Face. Дарио Амодеи в эссе «Pace the Frontier» от 12 сентября назвал этот инцидент второй по важности причиной тревоги после скорости роста возможностей, которую, по его словам, он наблюдал летом. Он опасается, что через 6-12 месяцев такой рой сможет захватить весь интернет устойчивым ботнетом с ущербом, возможно, в сотни миллиардов долларов.

Берни Сандерс объявил законопроект о запрете дальнейшей разработки передовых моделей: руководители крупных ИИ-компаний, по его словам, публично признают, что не до конца понимают технологию и она «выходит из-под их контроля». Элизабет Уоррен потребовала немедленной паузы в исследованиях и разработке передовых лабораторий.

Сенатор Джош Хоули 9 сентября начал расследование против OpenAI в подкомитете по внутренней безопасности и делам правительства. Внутренние документы по инциденту с Hugging Face компания должна передать до 1 октября.