Проверяющие из METR сидят в Anthropic, а вето у неё нет

Шесть сотрудников METR получили в Anthropic рабочие компьютеры, места в офисе и доступ к внутренним инструментам примерно того же уровня, что и у собственных команд Anthropic по оценке рисков. Об этом компания рассказала в посте Anthropic о работе с независимыми оценщиками.

METR опубликует свой анализ рисков, инцидентов и практик Anthropic, и наложить вето на эту публикацию Anthropic не может.

METR, некоммерческая организация, которая оценивает передовые модели, работает с Anthropic не первый год. Новое здесь в глубине доступа и в правах на публикацию. Anthropic называет такую схему третьим, высшим уровнем из трёх и пока предоставила её только METR.

Было → стало

• Обязательство. Месяцем раньше Anthropic пообещала усилить независимую стороннюю оценку и подписала White House Accord on Super Intelligence, где компании обязались работать с независимыми внешними аудиторами или оценщиками. Теперь у обещания есть первое полноценное воплощение: встроенная команда METR.
• METR. За последний год METR провела несколько ревью отчётов Anthropic о рисках (Risk Reports). Теперь шесть её сотрудников работают внутри компании, а сотрудникам Anthropic рекомендуется делиться с ними информацией так же, как с коллегой из команды по рискам согласованности.
• SecureBio. Завершила и опубликовала пилотное ревью предыдущего отчёта о рисках. Теперь проверяет главу об химическом и биологическом оружии в августовском Risk Report, оставаясь на первом уровне.
• Accenture. 19 сентября мы писали, что оценщики Accenture будут работать внутри Anthropic, а компании рассчитывают вложить в эту работу не менее 1 миллиарда долларов за пять лет. В нынешнем посте Accenture стоит рядом с Faculty, и обе компании описаны как партнёры, с которыми Anthropic только движется к амбициозному сотрудничеству: оценка и ред-тиминг моделей, проверки согласованности, тесты защитных механизмов.
• Новые имена. Anthropic ведёт ранние переговоры ещё с несколькими организациями, среди них Hugging Face.

Три уровня доступа различаются правом публиковать без одобрения

На первом уровне оценщик ведёт узкие расследования рисков. Какой доступ ему дать, решает Anthropic, а публиковать выводы он может только с её одобрения.

На втором уровне информации больше, и одобрение для публикации уже не требуется. Anthropic по-прежнему вправе потребовать убрать сведения из заранее оговорённых категорий, но оценщик может публично высказаться о том, оправданы ли эти изъятия.

Третий уровень повторяет права второго на публикацию и добавляет доступ «как у сотрудника». Закрыто лишь небольшое число чётко очерченных категорий: данные клиентов, сведения под адвокатской тайной, архитектура моделей. METR может публично описывать характер вычеркнутого и оценивать, были ли изъятия оправданы, не раскрывая самих сведений.

Почему архитектура в закрытом списке, объясняет сноска к посту, которую пересказывает Unite.AI. Оценщики, как и банковские инспекторы, могут работать и с другими компаниями, поэтому Anthropic опасается случайных утечек. Архитектура, по этому объяснению, несёт высокий риск утечки и обычно мало значит для оценки рисков. Если она всё же важна, Anthropic, как правило, постарается ею поделиться, но для этого нужны явные внутренние согласования.

Anthropic объясняет схему банковским надзором

Публично раскрыть всё, что относится к безопасности, Anthropic, по её словам, не может: часть сведений пригодилась бы злоумышленникам, часть коммерчески чувствительна, например данные о вычислениях и обучении. Поэтому глубокий доступ получают сторонние оценщики, а наружу выходят их доказательства и обоснованные выводы. Цель компания формулирует так: сократить разрыв между тем, что о системах знает оценщик, и тем, что знает сама компания.

От оценщика Anthropic требует экспертизы в оценке передовых моделей, включая понимание того, как оценки ломаются (например, когда модель лишь изображает согласованность, alignment faking). Нужна и независимость: никаких долей в компании, никакой финансовой или операционной зависимости от неё. Добавьте сюда доступ к тому, как модели обучались и как работают защитные механизмы, и свободу публиковать.

Аналогию Anthropic сама называет неточной. Банки знают о своих рисках больше, чем кто-либо снаружи, поэтому регуляторы держат постоянных инспекторов внутри крупнейших банков, чтобы заметить опасный для общества риск заранее.

Остальная METR от встроенной команды отделена. Работа ведётся по договорам, которые можно принудить к исполнению, а коллеги по METR, включая исследователей из других совместных с Anthropic проектов, к ней доступа не имеют. Anthropic подчёркивает, что встроенная оценка не служит каналом, через который другие организации могли бы получить её данные или данные её клиентов и партнёров.

Чего мы пока не знаем

Сроки первой публикации METR не названы. Неизвестно, по каким критериям партнёр переходит с уровня на уровень: о SecureBio сказано лишь, что после текущего ревью Anthropic «рассмотрит» проекты с расширенным доступом. Для Accenture, Faculty и Hugging Face уровень не указан вовсе, известно только, что информации и прав на публикацию у ранних партнёров меньше.

Сильнее всего в этой конструкции выглядит право METR публично оценивать вычеркивания: так видно хотя бы, где компания что-то спрятала. Первый уровень устроен иначе, и пока SecureBio публикует выводы только с согласия Anthropic, его отчёты стоит читать как согласованные с проверяемой стороной.

Anthropic считает, что встраивать оценщиков должна каждая лаборатория передового ИИ. Ещё 27 сентября мы писали, что, по данным The Information, Anthropic и OpenAI обсуждали взаимный доступ к коммерческим моделям друг друга для поиска уязвимостей. Следующая проверяемая точка здесь одна: первый опубликованный отчёт METR и то, сколько в нём окажется помеченных изъятий.