Перейти к содержанию

Anthropic

Проверяющие из METR сидят в Anthropic, а вето у неё нет

4 мин чтения

Текст написан ИИ-моделью по источникам, на которые ведут ссылки, и сверен с ними второй моделью. Как мы работаем

Изображение: x.com

Anthropic пустила к себе шестерых сотрудников METR, некоммерческой организации, которая оценивает передовые модели. Им дали доступ к внутренним системам примерно на уровне собственных команд Anthropic по оценке рисков, а результаты METR опубликует без права вето со стороны компании. Об этом Anthropic рассказала в посте от 15 октября.

Это высший из трёх уровней доступа, которые Anthropic выстраивает для внешних оценщиков, и пока на нём только METR. До сих пор, весь последний год, METR работала с Anthropic иначе: проверяла её Risk Reports, отчёты о рисках, которые готовит сама компания. Теперь у шестерых сотрудников METR есть рабочее железо Anthropic, место в офисе и внутренние инструменты. Сотрудникам Anthropic рекомендуют делиться с ними информацией так же, как с коллегой, который занимается рисками согласованности моделей. Исключение сделано для нескольких чётко определённых категорий: данные клиентов, адвокатская тайна, сведения об архитектуре моделей.

Публиковать METR будет анализ уровней риска, инцидентов и практик Anthropic. Запретить публикацию Anthropic не может, но вправе потребовать вычеркнуть сведения из тех же узких заранее оговорённых категорий. METR может публично описать эти вычёркивания и сказать, считает ли она их оправданными, если при этом не раскроет само вычеркнутое. Вето на публикацию у Anthropic нет, но решать, что именно попадает в закрытые категории, в итоге всё равно будет она сама.

Доступ ограничен небольшой командой, которая работает по соглашениям с юридической силой. Остальные сотрудники METR от её работы отделены, включая исследователей, которые ведут с Anthropic другие проекты. В компании подчёркивают, что встроенная оценка даёт нескольким квалифицированным людям близкий взгляд на её работу в рамках её стандартов безопасности и не служит каналом, по которому чужие организации могли бы получить данные Anthropic, её клиентов или партнёров.

Остальные уровни устроены так:

  • первый: узкие проверки конкретных рисков, объём доступа определяет Anthropic, публикация только с её одобрения;
  • второй: больше информации и публикация без одобрения, хотя Anthropic по-прежнему может потребовать убрать сведения определённых категорий, а оценщик вправе высказаться, были ли эти правки оправданы;
  • третий: доступ как у сотрудника и права на публикацию примерно как на втором уровне, это нынешняя схема с METR.

SecureBio сейчас на первом уровне. Организация уже провела и опубликовала пилотную проверку предыдущего отчёта о рисках, а сейчас разбирает главу о химическом и биологическом оружии из августовского Risk Report. Расширять ей доступ и права на публикацию Anthropic будет решать только после этой проверки. Со временем компания хочет держать на третьем уровне несколько оценщиков, и каждый публиковал бы собственный анализ её подхода к рискам и ключевых решений.

С Accenture и Faculty Anthropic строит, по собственным словам, амбициозное партнёрство: оценка моделей и ред-тиминг (специальные атаки на модель, чтобы найти, где она ломается), проверки согласованности, тесты защитных механизмов и наращивание компетенций в обеих организациях. В сентябре о партнёрстве с Accenture говорили как о вложении не менее 1 миллиарда долларов за пять лет, но на каком уровне доступа оно сейчас находится, Anthropic не уточнила. С Hugging Face и ещё несколькими организациями идут ранние переговоры.

Свою логику Anthropic объясняет так: модели становятся мощнее, защиты и оценки рисков сложнее, а публично раскрыть всё компания не может. Часть сведений пригодилась бы злоумышленникам, часть коммерчески чувствительна, например данные о вычислениях и обучении. Поэтому глубокий доступ получают внешние оценщики, а наружу выходят их доказательства и выводы. Цель, по словам компании, в том, чтобы проверяющие понимали системы передовой ИИ-компании так же, как понимает их она сама.

Оценщику для этого, по версии Anthropic, нужны четыре вещи. Первая - экспертиза, включая понимание того, как оценка может сломаться, например из-за alignment faking, когда модель ведёт себя прилично только потому, что знает о проверке. Вторая - независимость: никаких долей в проверяемой компании и никакой финансовой или операционной зависимости от неё. Третья - достаточный доступ, не только к свежим моделям, но и к тому, как их обучали и как работают защиты. И четвёртая - свобода публиковать выводы. Сама компания сравнивает схему с банковским надзором, оговариваясь, что аналогия неточная: крупные банки знают о своих рисках больше посторонних, поэтому регуляторы держат проверяющих прямо внутри них.

Месяцем раньше Anthropic пообещала усилить независимую внешнюю оценку своих моделей и подписала White House Accord on Super Intelligence, в котором компании обязались работать с независимыми внешними аудиторами или оценщиками. Пост заканчивается так: «Мы встраиваем оценщиков добровольно и считаем, что так же должна поступать каждая компания, создающая передовой ИИ».

OpenAIOpenAI

Голосовой ChatGPT стал реже застревать на «checking...», Видео

Голосовой режим в ChatGPT, Codex и dots получил модель GPT-Live-1.1 с новыми голосами на шести языках, от хинди до мексиканского испанского. И реже застревает на «checking...», которое мешало вайб-кодингу. На каком языке вы чаще всего говорите с голосовым ChatGPT?

Пока никто не написал. Будьте первым.

Присоединяйтесь к разговору

Войдите, чтобы оставить комментарий. Он появится после модерации.