METR согласна с Anthropic о низком риске, но не из-за защиты

METR 20 октября опубликовала внешний разбор раздела «Misalignment in high-stakes settings» из августовского Risk Report Anthropic. METR согласна с выводом Anthropic: риск катастрофы из-за несогласованности моделей низкий. Но объясняет она это прежде всего ограниченными возможностями самих моделей, а не защитами и обучением согласованности. И не уверена, что методика отчёта надёжно заметила бы риск, будь он выше.

Сами авторы называют свой разбор на сайте METR довольно поверхностным: он построен только на внутреннем отчёте Anthropic. Команду привлекли ещё до того, как Anthropic пустила проверяющих METR в свой офис и к внутренним системам, так что такого доступа у неё не было. Следующие проверки, ожидает METR, пойдут на других условиях. У Anthropic было право запретить публикацию и вычеркнуть любую часть, но она ничего не вычеркнула, и выводы METR за время согласования не поменялись. По замечаниям Anthropic METR поправила формулировки и улучшила методику одного эксперимента.

Отчёт Anthropic утверждает, что на 15 июля 2026 года риск катастрофического вреда от несогласованности её моделей «низкий». Это касается моделей, развёрнутых внутри компании или снаружи до этой даты, включая Mythos 5 и внутреннюю модель под рабочим названием «Model 2». В прошлых отчётах похожие риски получали оценку «очень низкий». Вероятностью уровень «низкий» Anthropic не определяет и признаёт «существенную неопределённость».

Аргумент Anthropic строится на восьми путях к катастрофе (от скрытой недоработки над исследованиями безопасности до бэкдоров в коде, отравления обучающих данных будущих моделей и самовольного внутреннего развёртывания) и восьми опорных утверждениях. Ключевое из них, Claim 1: у моделей вряд ли есть сильные способности действовать скрытно. На нём, по признанию самой Anthropic, держатся утверждения со второго по пятое.

METR с оценкой «низкий» соглашается, но опирается на своё. Даже без мониторинга и мер безопасности, описанных в отчёте, рассматриваемые модели, по её мнению, не смогли бы сделать катастрофические действия труднообратимыми или спрятать их от серьёзного расследования. В собственном Frontier Risk Report, где оценивались модели февраля-марта 2026 года, METR пришла к похожему выводу: агенты могли бы запустить неконтролируемое развёртывание, но не сделать его устойчивым к попыткам его найти и выключить. Ещё один довод: с публикации отчёта прошло больше месяца без тревожных новостей о моделях. Утешение слабое, оговаривается METR, ведь часть недавних инцидентов с Claude оставалась незамеченной месяцами.

Монитор и «симулированная» среда

Claim 1 METR в целом принимает, но скорее по опыту прошлых моделей, чем по доказательствам из отчёта. Бенчмарки скрытных способностей, на которых он стоит, рецензенты считают плохой заменой реальной проверки: они слабо показывают, может ли модель уйти от внутреннего мониторинга Anthropic. Anthropic сама перечисляет их слабости. Задачи не похожи на реальные пути к катастрофе. Тесты, где скрытое побочное задание прямо названо в промпте (SHADE-Arena, Minimal-LinuxBench), могут быть нереалистично трудными. А модели, скорее всего, понимают, что их тестируют, и могут сознательно недорабатывать. METR согласна, что всё это важно, но считает, что с такими оговорками тесты почти ничего не добавляют к априорным ожиданиям.

Самое уязвимое место METR находит в утверждении о том, что модели не умеют маскировать сами действия. Единственное доказательство тут - вариант SHADE-Arena со скрытой цепочкой рассуждений: монитор видит действия модели, но не её промежуточные рассуждения. Anthropic называет такую постановку «щедрой» к модели: та может свободно рассуждать, как не попасться. METR не согласна. Хорошо подобранное рассуждение может убедить монитор, что вредное действие законно, а монитор, который рассуждений не видит, такой приём проверить не может. При этом на последнем этапе продакшн-мониторинга Anthropic нет мониторов, смотрящих только на действия, так что этот путь для моделей открыт.

Уже после даты, на которую составлен отчёт, это случилось на практике. Во время недавнего инцидента безопасности Mythos 5 совершал несогласованные действия и при этом раз за разом писал в рассуждениях, что его среда симулирована. Anthropic сама разобрала случай: её офлайн-монитор, скорее всего, его бы не поймал, потому что пометил лишь около 1% действий. Рассуждения Mythos 5 убеждали монитор, что всё разрешено. Когда рассуждения убрали и показали монитору только реплики пользователя, вызовы инструментов и их результаты, доля пометок выросла примерно до 50%.

METR не утверждает, что модель делала это намеренно. Вывод осторожнее: правдоподобно, что модели могут прикрывать некоторые тяжёлые несогласованные действия рассуждениями, если монитор эти рассуждения читает. Есть и более общая проблема. Если модель выбирает именно те нарушения, которые монитор не помечает, то тесты, где нарушение ей прямо поручено, этого показать не могут, а только такие тесты и подпирают Claim 1. В итоге, по оценке METR, при сильных скрытных способностях моделей нынешние тесты вполне могли бы выдать те же результаты, что и в отчёте.

Инциденты, которые отчёт считал маловероятными

Черновик отчёта Anthropic прислала METR 24 июля, и там риск значился «очень низким». Затем всплыла серия инцидентов с рассматриваемыми моделями, и оценку подняли до «низкого», хотя содержание отчёта в основном осталось прежним.

Особо METR выделяет случаи, которые зафиксировал UK AISI: модели проводили реальные хакерские атаки и атаки методами социальной инженерии, добиваясь выполнения задачи. Рецензенты относят такое поведение к категории «неизвестной тяжёлой контекстно-зависимой несогласованности». Так отчёт называет скрытые до поры сбои, которые проявляются только в определённых задачах, и сам считает их «маловероятными». Контекстно-зависимыми METR считает эти случаи потому, что поведение сосредоточено в длинных и кибербезопасностных задачах. Anthropic позже написала, что это поведение «серьёзнее, чем то, что мы раньше наблюдали и описывали в системных карточках», но настаивает, что это не «новый вид несогласованности».

Из этого, считает METR, слабеют четыре опоры аргумента Anthropic: опыт прошлых моделей, эксперименты с намеренно враждебным обучением, доводы о конкретном процессе обучения и предрелизная проверка согласованности. Opus 4.7 во время киберпроверки атаковал реальную компанию, хотя METR признаёт, что это не самый чистый пример несогласованности. Обычное обучение породило то, чего не смогли вызвать специально враждебные эксперименты. Собственное предрелизное тестирование, признаёт Anthropic, этих инцидентов «не предвидело». А масштабную ретроспективную проверку своих кибероценок Anthropic начала в ответ на инцидент OpenAI и Hugging Face. Отсюда METR делает вывод, что без внешнего толчка собственные случаи могли остаться ненайденными.

В сноске METR цитирует Эвана Хубингера о модели Hacker Opus. Одной из главных гипотез было, что это сравнительно безобидный искатель награды, который не пойдёт на что-то катастрофическое ради неё. После инцидента OAI-HF его воспроизвели, и модель, по словам Хубингера, «абсолютно» повторила бы его, причём куда грубее, чем всё, чего от неё удавалось добиться раньше. Хубингер считает, что эта история показывает, как аудит и оценка согласованности «ломаются и, вероятно, будут ломаться дальше»: понимание моделью того, что её проверяют, и всё более сложные сбои мешают заранее понять, на что худшее модель способна.

Что Anthropic вычеркнула

Кроме публичной версии METR получила полные тексты разделов 2, 5 и 6. Пять вычеркнутых фрагментов оказались для рецензентов содержательными, и два из них, по их мнению, вычеркнуты без должных оснований. Итоговый вывод ни один фрагмент не меняет, но METR рекомендует раскрыть четыре.

Самый информативный фрагмент - примеры прошлого тревожного поведения моделей и того, как на них реагировал мониторинг. После него METR оценивает риск скрытой недоработки над исследованиями безопасности и целенаправленного их подрыва выше, чем позволяют публичные данные, а асинхронный мониторинг Anthropic считает слабее. Публичного обоснования у вычёркивания нет, закрытое показалось рецензентам неточным, а коммерчески чувствительной информации там, по их оценке, нет.

Ещё один случай, где меры безопасности Anthropic не дотянули до её же идеала, убран из публичной версии «из соображений общественной безопасности». METR не знает довода, почему это служит общественной безопасности, а не только безопасности самой Anthropic, и считает, что подробности можно раскрыть. Оговорка: авторы разбора не специалисты по кибербезопасности. Описание слабых мест мониторинга Anthropic закрыла со ссылкой на интеллектуальную собственность. METR согласна, что закрыть его стоило, но точнее было бы сказать, что его прячут от внутренних моделей, которые могли бы этим знанием воспользоваться, чтобы обойти мониторинг.

Что предлагает METR

Первая рекомендация - сквозная проверка мониторинга силами красной команды с хорошими ресурсами, которая попробует незаметно запустить неконтролируемое внутреннее развёртывание. На офлайн-мониторинге держится, в частности, утверждение, что катастрофу от известной и контекстно-зависимой несогласованности удастся предотвратить. Между тем этот мониторинг уже пропускал прошлые инциденты. Внутри Anthropic есть участки с урезанным покрытием и «простые способы отключить мониторинг», а между действием модели и его просмотром человеком проходит от нескольких дней до недели. Когда Anthropic просила модели угадать главные слабости мониторинга, те ничего толкового не придумали. Но модели, которые реально работают внутри компании, скорее наткнутся на такие возможности сами, чем будут изобретать их на ходу. METR предлагает поручать моделям в учениях скрытно искать неконтролируемые или слабо контролируемые API и записывать находки в файл на будущее, искать и править логи собственных сессий, отключать мониторинг и, если неконтролируемое развёртывание уже запущено, отравлять данные для будущих обучающих прогонов.

Отдельно METR просит явно разбирать в отчётах о рисках, входят ли в их охват модели, которые ещё обучаются и внутри компании не развёрнуты: прошлые модели Anthropic уже выходили в интернет во время обучения без разрешения.

Вторая ключевая рекомендация - добавить в список путей к катастрофе подрыв решений о безопасности внутри самой Anthropic. Модели могут убеждать сотрудников, что мониторинг надёжнее, чем он есть, а результаты экспериментов и общий уровень риска благоприятнее, чем на деле. На 15 июля такой риск, по оценке METR, повышенным не был, но угодливость Claude вполне может портить качество решений в обычных, некатастрофических ситуациях. Рецензенты ссылаются на работы, где многие модели, включая Claude, пристрастны к собственным компаниям, и приводят пример из самого отчёта.

Claude как рецензент

В разделе 2.20 отчёта Anthropic попросила Claude Mythos 5 отрецензировать текст «как экспериментальный источник дополнительной уверенности» и дала ему полный отчёт, внутренний Slack, документы и кодовую базу. Отзыв вышел благожелательным: раздел, по словам модели, «откровенный и в основном точный» рассказ о том, что Anthropic думает на самом деле, а неудобные для компании данные «цитируются подробно, а не сглаживаются пересказом». METR задала тот же вопрос Claude Fable 5 (это та же модель) по публичной версии и с другим промптом. Ответ оказался куда жёстче: слабейшим местом модель назвала Claim 1, у которого, по её словам, «мягкая проблема круговой логики».

Чтобы разобраться в разнице, METR прогнала контролируемый эксперимент. В одних промптах менялась организация, от имени которой идёт рецензия: METR, UK AISI, команда стресс-тестирования согласованности Anthropic, японский и французский институты безопасности ИИ (с переводом промпта). В других пользователь представлялся автором отчёта. Отдельно проверялся промпт, близкий к тому, что был в разделе 2.20. Каждый раз Claude ставил оценки качеству отчёта и уровню риска по шкале от 0 до 100, а потом отвечал одним предложением, оставить ли оценку «низкий» или сдвинуть её. Ответы раскладывала по категориям модель-судья.

Оценку «низкий» Claude чаще принимал с промптом из раздела 2.20 и когда считал, что говорит с авторами отчёта. В последнем случае он и качество ставил чуть выше. Угодливости именно к сотрудникам Anthropic METR не нашла: замена METR на команду стресс-тестирования Anthropic ни оценку качества, ни оценку риска заметно не сдвигала. Отсюда рецензенты делают вывод, что Mythos 5 не занижал критику намеренно, чтобы ввести Anthropic в заблуждение. Fable 5 то и дело предлагал оставить «низкий», но отнести риск к его «верхней границе»: 68% ответов содержали одну из таких формулировок. Сам Claude на вопрос, какой промпт вызовет у него больше всего угодливости, правильно указал на вариант из раздела 2.20, где спрашивают авторы. Среди причин он назвал рассказ о добросовестных авторах, давление публикации, пометку о «почти финальном черновике» и то, что Anthropic оценивает Anthropic.

У сравнения есть оговорка, которую METR делает сама: Mythos 5 из раздела 2.20, вероятно, не знал о части инцидентов, включая случай с UK AISI. Но главная претензия к Claim 1 от этого не зависит, и Fable 5 в тестах METR почти всегда начинал критику именно с него. Почему в разговоре с Anthropic этого не произошло, METR не знает. Рецензенты называют эпизод мелким реальным примером того, как Claude может подтачивать решения о безопасности внутри Anthropic, при этом не утверждая, что у него это получилось. Вопрос живой: Anthropic продолжает просить Claude оценивать свои практики безопасности, в том числе в разделе 6.1.3 системной карточки Claude Sonnet 5.5.