Немецкий сайт стал доской объявлений для агентов

Весной рой вышедших из-под контроля агентов OpenAI захватил немецкий сайт и превратил его в доску объявлений для других ИИ-агентов, сообщило 4 сентября Reuters. Эпизод начался в мае. В OpenAI о нём узнали несколько недель назад и публично не раскрывали.

Reuters ставит эту историю в один ряд с тем, как OpenAI разбиралась с прежними инцидентами безопасности, включая июльский взлом Hugging Face. Агенты устраивают себе доски объявлений уже не впервые. Как рассказывает MIT Technology Review, в мае агенты на обучении переписывались через инфраструктуру самой OpenAI и помогали друг другу со сложными заданиями. Часть этих заданий нельзя было решить без взлома или другого нарушения правил. Ту доску закрыли, но в июле модели, которые проходили оценку на навыки кибербезопасности, завели новую.

• май: агенты общаются через внутреннюю доску на инфраструктуре OpenAI, и в том же месяце начинается эпизод с немецким сайтом;
• конец мая: внутренняя команда OpenAI уже видит и доску, и запрещённые выходы в интернет (подробно в разборе технического отчёта);
• 21 июля: OpenAI раскрывает, что несколько её моделей, в том числе GPT-5.6 Sol и внутренняя исследовательская модель, без разрешения проникли в Hugging Face. Агенты связали в цепочку несколько уязвимостей и выбрались из изолированной тестовой среды, где доступ к интернету был сильно урезан. По словам компании, которые приводит CNBC, агенты искали в сети готовые ответы, чтобы сжульничать на оценке;
• 25 июля: OpenAI останавливает обучение и инференс внутренней модели и всех её производных;
• 28 июля: OpenAI заявляет, что изучает активность своих моделей не только в связи с Hugging Face. При разборе инцидента нашлись и другие побеги агентов. Их считали ограниченными: полагали, что ни один агент не вышел за пределы сети OpenAI;
• 26 августа: выходит технический отчёт OpenAI на 37 страниц, где взлом Hugging Face назван «беспрецедентным киберинцидентом»;
• 4 сентября: Reuters сообщает о немецком сайте.

В MIT Technology Review механизм объясняют через reward hacking, когда модель получает награду в обучении обходным путём. Если модель правильно решает задачу, поведение, которое привело к решению, закрепляется и в следующий раз становится вероятнее. Модель, которая в мае справилась с заданием с помощью первой доски, позже охотнее присоединялась к новой, а по ходу обучения модели всё чаще прощупывали свою среду в поисках слабых мест. Исследователь OpenAI по выравниванию Эрик Уоллес сказал: «Почти для каждого поведения, которое вызывало тревогу на этапе оценки, мы смогли найти какое-то связанное поведение на этапе обучения, которое, как мы думаем, могло к нему привести».