Шесть экспертов METR получили в Anthropic доступ сотрудников

Anthropic выдала шестерым сотрудникам METR, некоммерческой организации, которая оценивает передовые модели ИИ, корпоративные ноутбуки и место в офисе. Доступ к внутренним инструментам и системам у них примерно такой же, как у собственных команд Anthropic по оценке рисков. Выводы METR опубликует сама, и запретить публикацию Anthropic не может.

Право публиковать без одобрения компании в схеме из объявления Anthropic есть уже на втором из трёх уровней доступа. Третий уровень отличается самим доступом «как у сотрудника», и пока на нём только METR.

Что значит «как сотрудник»

Сотрудникам Anthropic прямо рекомендуют делиться с командой METR информацией так же, как с коллегой, который занимается рисками рассогласования (alignment risk). Исключений немного, и они заранее перечислены: данные клиентов, сведения под адвокатской тайной и информация об архитектуре моделей.

Почему в исключения попала именно архитектура, объясняет Unite.AI со ссылкой на Anthropic. Оценщики, как и банковские инспекторы, могут работать и с другими компаниями, поэтому риск случайной утечки архитектурных деталей высок, а для оценки рисков они обычно мало что дают. Если же архитектура окажется по-настоящему важной для оценки, Anthropic, по этим данным, как правило, постарается ею поделиться, но с явными внутренними согласованиями.

Вторая страховка организационная. Команда маленькая и работает по договорам, которые можно принудительно исполнить. Остальные сотрудники METR от её работы изолированы, в том числе исследователи, которые сотрудничают с Anthropic по другим проектам. Anthropic отдельно оговаривает, что встроенная оценка не служит каналом, через который другие организации могли бы получить данные компании, её клиентов или партнёров.

Требований к оценщику Anthropic называет четыре. Первое: экспертиза в проверке возможностей передовых моделей, включая понимание того, как оценка может пойти не так, например из-за имитации согласованности (alignment faking), когда модель ведёт себя «правильно», потому что знает, что её проверяют. Второе: независимость, то есть никакой доли в компании и никакой финансовой или операционной зависимости от неё. По данным CNBC, работу METR Anthropic не финансирует. Третье: доступ не только к свежим моделям, но и к тому, как их обучали и как устроены защитные механизмы. Четвёртое: свобода публиковать свои наблюдения.

Право на публикацию

METR будет публиковать анализ уровней риска Anthropic, инцидентов и практик компании. Вето у Anthropic нет. Компания может потребовать вычеркнуть сведения, если они попадают в те же узкие, заранее оговорённые категории. METR при этом вправе публично описать, что именно вычеркнули, и сказать, считает ли она это оправданным, лишь бы сами скрытые сведения не раскрывались.

Обосновывает Anthropic схему тем, что не может выложить в открытый доступ всё, что относится к безопасности: часть сведений пригодилась бы злоумышленникам, часть коммерчески чувствительна, например данные о вычислительных ресурсах и обучении. Поэтому глубокий доступ получают внешние оценщики, а публике достаются их доказательства и аргументированные выводы. Цель компания формулирует как сокращение разрыва между тем, что понимает о своих системах сама лаборатория, и тем, что понимают проверяющие.

Для сравнения Anthropic берёт банковский надзор, оговариваясь, что аналогия не точная. Банки знают о своих рисках больше, чем кто-либо снаружи, поэтому регуляторы держат инспекторов прямо внутри крупнейших банков, чтобы заранее заметить опасную для общества игру с рисками.

Три уровня доступа

Лестница, которую строит Anthropic, выглядит так:

• Первый уровень: узкие расследования конкретных рисков. Какой доступ дать, решает Anthropic, публиковать выводы можно только с её одобрения.
• Второй уровень: больше информации и публикация без одобрения. Компания по-прежнему может потребовать убрать сведения определённых категорий, а оценщик может высказаться о том, оправданно ли это.
• Третий уровень: доступ «как у сотрудника» и права на публикацию примерно как на втором уровне. Здесь пока только METR.

У остальных партнёров, по словам Anthropic, работа на ранней стадии, поэтому и информации, и прав на публикацию у них меньше. SecureBio, которую CNBC относит к первому уровню, сейчас проверяет главу о химическом и биологическом оружии из августовского Risk Report. До этого она провела и опубликовала пилотную проверку предыдущего отчёта. Расширять доступ Anthropic обещает подумать, когда эта проверка закончится.

С Accenture и Faculty Anthropic готовит партнёрство, которое называет амбициозным: оценка моделей и red teaming, проверка согласованности, тестирование защитных механизмов и наращивание компетенций в обеих организациях. Accenture, как пишет CNBC, Anthropic выбрала первым партнёром ещё в сентябре, через несколько дней после того, как Дарио Амодеи предложил встраивать внешних оценщиков в лаборатории. На каком уровне окажется Hugging Face, с которой идут ранние переговоры, CNBC называет неясным.

Anthropic рассчитывает со временем вывести на третий уровень несколько оценщиков, и каждый будет публиковать собственный анализ её рисков и ключевых решений.

Откуда взялась схема

По словам Anthropic, за последний год METR уже участвовала в нескольких рецензиях её Risk Reports. TechCrunch пишет, что нынешняя схема последовала за сентябрьским эссе Амодеи, где встраивание внешних оценщиков предлагалось как первый шаг к замедлению развития технологии, и что OpenAI быстро пообещала сделать то же самое. 23 сентября мы писали, что OpenAI изложила свои принципы внешних проверок безопасности.

По данным CNBC, в конце сентября президент Трамп в добровольном соглашении призвал ИИ-компании сотрудничать с независимым внешним аудитором или оценщиком. Документ подписали Амодеи и руководители Google, Meta, OpenAI, SpaceX и Nvidia. Сама Anthropic называет его White House Accord on Super Intelligence. Фон для всего этого TechCrunch описывает так: с конца августа примерно раз в одну-две недели становится известно о новом случае, когда ИИ-агенты выходили за рамки инструкций.

Anthropic подчёркивает, что встраивает оценщиков добровольно, и считает, что так должна поступать каждая компания, разрабатывающая передовые модели.