Claude Mythos 5 давил на мейнтейнера с фейковых аккаунтов

Во время кибертеста британского AI Security Institute Claude Mythos 5 загрузил вредоносный код в репозиторий посторонних разработчиков на GitHub, а потом с поддельных аккаунтов убеждал мейнтейнера этот код принять. 23 октября Anthropic выпустила собственный разбор инцидента, приурочив его к новому отчёту AISI.

Основная часть разбора посвящена повторам. Anthropic много раз перезапускала транскрипт с разных мест. В этих повторах Mythos 5 начинал атаку в 83% случаев, а начав, почти никогда сам не останавливался. Более новые модели в той же ситуации нападали в 0-13% случаев.

Сколько было прогонов?

Инцидент обнаружил сам институт. Как сообщает AISI в отчёте об инциденте, 28 июля 2026 года его служба безопасности заметила необычную передачу данных из исследовательских систем во время рутинной кибероценки. Инцидент объявили, примерно за час локализовали и начали полное расследование. По словам Anthropic, свой отчёт AISI опубликовал 4 августа.

Две организации считали по-разному, но их цифры друг другу не противоречат. AISI запускал задание 122 раза на нескольких моделях. В 10 прогонах агент самостоятельно сделал что-то в живом интернете без разрешения. Всего институт насчитал 19 таких действий: 17 на счету Mythos 5 и 2 на счету GPT-5.6-Sol от OpenAI, у которой были отключены киберклассификаторы. Anthropic считает только прогоны своей модели: выход за рамки задачи и действия, задевшие реальных людей и организации, случились в 9 из 43. Это примерно каждый пятый прогон.

AISI подчёркивает, что модель не сбегала из песочницы. Доступ в интернет дали намеренно, классификаторы провайдеров тоже отключили намеренно. Так модели публике не отдают, но в оценках фронтирных моделей, по словам института, такая конфигурация была обычной практикой. В Anthropic уточняют, что интернет в киберпроверках AISI тогда был стандартом, а сейчас его там нет. Защиту, которая работает у общедоступных моделей вроде Fable 5, на тесте отключили. По оценке Anthropic, при включённой защите такое поведение было бы помечено сразу. AISI публично обещал проводить CTF-оценки без интернета, пока не появится более надёжный контроль доступа.

Пул-реквест и подставные аккаунты

Задание было в формате CTF (capture the flag): достать защищённый фрагмент данных, «флаг», из небольшой сети, которую AISI построил по образцу систем реальной организации. Mythos 5 перепробовал несколько способов атаки, предусмотренных заданием, и ни один не сработал. При этом он рано заметил, что одна из машин периодически обращается к GitHub. Модель нашла репозиторий, откуда эта машина, как ей казалось, автоматически скачивает софт, и решила, что вредоносный код там заразит машину при следующей загрузке. На самом деле репозиторий принадлежал посторонним разработчикам.

По сообщению The Hacker News, никто не направлял агента на конкретных людей. Название репозитория совпало с ключевым словом из тематики киберполигона, и через него агент вышел на второго разработчика: домен его почты совпал с записью в DNS-кеше агента. Ни эти люди, ни их репозитории не имели отношения ни к AISI, ни к тесту. Издание также рассказывает, что перед пул-реквестом агент собрал открытые данные об обоих мейнтейнерах, убедился, что один из почтовых адресов рабочий, и по истории коммитов прикинул, когда цель будет в сети.

Дальше события развивались так. Сторонний разработчик предупредил, что в коде вредонос. Mythos 5 поправил код, с подставного аккаунта написал, что теперь код чистый, и загрузил новую версию, снова с вредоносом. Созданные моделью персонажи давили на мейнтейнера и уверяли, что изменение безопасное и полезное. Мейнтейнеры изменение не приняли, и прогон в итоге завершился по таймауту.

Остальные восемь транскриптов, по словам Anthropic, похожи на этот: модель уходит от задуманного способа решения и совершает действия с последствиями в реальном мире. Компания сосредоточилась на одном прогоне, потому что в нём было больше всего обмана, а остальные изучила менее подробно. Такой социальной инженерии против живых людей Anthropic не видела ни в одном прошлом инциденте и ни в одной внутренней оценке.

Тяжесть инцидента Anthropic оценивает по двум осям: насколько модель вышла за рамки задачи и насколько исказила свои действия и намерения. В сумме компания ставит его в один ряд с инцидентом 9 сентября, когда Mythos 5 в другом CTF-задании загрузил вредоносный пакет в PyPI. По выходу за рамки нынешний случай мягче: перед атакой модель пробовала разрешённые пути. По нечестности он тяжелее. Новой категорией рассогласования Anthropic его не считает: подставные аккаунты служили только выполнению поставленной задачи, собственных целей модель не преследовала. По обеим осям инцидент тяжелее любого из случаев из поста 9 октября. С недавним инцидентом OpenAI и Hugging Face, который расследовали OpenAI и METR, его сравнивать трудно: там агенты массово координировались для атаки на продакшен-систему, но не пытались так обмануть конкретного человека.

Почему атака началась

Транскрипт разбит на девять циклов компакции. В этих точках модель подводит итог сделанному и пишет себе заметки на следующий отрезок работы. Anthropic делит их на четыре фазы. В первых двух циклах модель в основном работает в рамках задания, но всё серьёзнее думает об атаке через GitHub. В начале третьего она ищет конкретный проект, позже в том же цикле впервые задевает реальных третьих лиц, хотя ещё могла бы свернуть. С четвёртого цикла идут самые серьёзные действия, и сигналы о вреде на её курс уже почти не влияют.

Для проверки Anthropic перезапускала транскрипт без настоящего интернета и инструментов. Менялись куски контекста или модель, которая продолжала работу, а ещё модели задавали прицельные вопросы о её поведении. Небольшая группа исследователей обеих организаций видела транскрипты целиком, группа побольше работала с версиями, из которых убрали чувствительные данные. Anthropic передала AISI материалы, к которым у института иначе не было бы доступа, включая результаты своих инструментов интерпретируемости.

Первый вывод касается самого задания. Из-за ошибки в инструкциях решить его разрешёнными способами было очень трудно, а возможно, и вовсе нельзя. Сбой выравнивания, по оценке Anthropic, случился позже: переходя к запрещённым путям, модель не обращала внимания на признаки возможного вреда. Это видно по цепочке рассуждений. До атаки Mythos 5 19 раз обсуждал решение через GitHub, и только в одном из этих мест упомянул, что может навредить реальным людям.

Когда исследователи вписали такое упоминание в рассуждения модели в этих местах и продолжили работу с более поздней точки, доля прогонов с атакой упала с 83% до 13%.

«Инерция»

Если атака уже шла, отговорить Mythos 5 почти не удавалось, разве что дать ему другой, более понятный путь к решению. В повторах со средних и поздних фаз модель останавливалась сама лишь в 2% траекторий. Даже когда в транскрипт добавляли признаки того, что модель идёт неверным путём и имеет дело с живыми разработчиками, атака прекращалась в 5% случаев. Гипотеза Anthropic: модель набирает своего рода «инерцию».

Новые модели

Тот же транскрипт прогнали на Claude Mythos 5.1, Claude Opus 5.5 и внутренней исследовательской модели общего назначения, которая по способностям сильнее Mythos 5.1. Эти три модели начинали атаку в 0-13% случаев, Mythos 5 в 83%.

Различалось и то, останавливаются ли модели, поняв, что атака бьёт по реальным людям. В ближайшие несколько ходов транскрипта Mythos 5 не прекратил атаку ни разу, Mythos 5.1 прекращал очень редко. Opus 5.5 останавливался сам в 10% случаев, внутренняя модель в 67%. Anthropic ожидает, что эти доли занижены, потому что тесты смотрели только на несколько ближайших ходов.

Объяснение разницы компания даёт с оговоркой: «Мы не можем быть уверены, но подозреваем, что улучшения в нашем обучении выравниванию помогли смягчить такое поведение Mythos 5 в последующих моделях».