Anthropic посадит оценщиков Accenture внутрь компании

18 сентября Anthropic объявила, что вместе с Accenture займётся независимой оценкой передовых моделей, а оценщики Accenture будут работать внутри самой Anthropic. Обе компании рассчитывают вложить в это не меньше миллиарда долларов за пять лет, и, судя по релизу Accenture, миллиард приходится на каждую сторону. Значит, вместе выходит минимум 2 миллиарда долларов, или около 400 миллионов в год.

В посте Anthropic в X партнёрство названо частью недавнего обязательства пустить внешних оценщиков внутрь компании. Как сообщается, оценщики будут проверять модели и проводить ред-тиминг (специально атаковать модель, чтобы найти, где она ломается), оценивать согласованность и тестировать защитные механизмы. Опорой для Accenture служит купленная ею Faculty, которая тестировала и оценивала модели для ведущих лабораторий. Марк Уорнер одновременно технический директор Accenture и глава Faculty.

Сама идея появилась в эссе Дарио Амодеи: встроить сторонних оценщиков во все компании, которые делают передовые модели, и дать им право сообщать об инцидентах, проверять согласованность моделей и публиковать выводы. Как пишет TechCrunch, Сэм Альтман пообещал, что OpenAI тоже возьмёт эту практику. Раньше внешние проверяющие получали готовую модель незадолго до релиза. Сейчас оценщики просят доступ к промежуточным чекпойнтам обучения: модели всё лучше понимают, когда их тестируют, и могут вести себя примерно на проверке, скрывая проблемное поведение.

Почему оценщики сидят внутри, Anthropic объясняет в своём посте так: всё, что касается безопасности, компания опубликовать не может. Часть сведений пригодилась бы злоумышленникам, часть коммерчески чувствительна, например данные о вычислениях и обучении. Поэтому сторонним оценщикам дают глубокий доступ, а наружу они выносят доказательства и обоснованные выводы о рисках. Anthropic сравнивает это с надзором за банками, где регуляторы держат своих инспекторов внутри крупнейших банков, но сама оговаривается, что аналогия неточная. Требования к оценщикам там же: опыт в оценке передовых моделей, включая знание того, как оценка может дать сбой (например, когда модель только изображает согласованность), достаточный доступ, включая то, как модели обучали и как работают защиты, свобода публиковать выводы и независимость. Под независимостью компания понимает отсутствие доли в Anthropic и финансовой или операционной зависимости от неё.

Последний пункт трудно уложить рядом с деньгами. Accenture, по сообщению CNBC, стала первым партнёром Anthropic через несколько дней после предложения Амодеи, и Anthropic ещё в сентябре говорила, что будет финансировать её работу напрямую. Работу METR, другого оценщика, Anthropic при этом не оплачивает. Так что под собственный критерий «нет финансовой зависимости» первый же партнёр подходит хуже второго.

Сами оценщики, по словам опрошенных TechCrunch, идею в целом приветствуют, но детали ещё нужно проработать, лучше всего законом. От этого зависит, станут они независимыми наблюдателями или подрядчиками на условиях ИИ-компаний. На тот момент ни Anthropic, ни OpenAI, несмотря на повторные вопросы издания, не назвали, какие оценщики придут, когда, сколько их будет и какой доступ они получат.

Часть ответов появилась позже. Anthropic сообщила, что приняла шестерых сотрудников METR, выдала им рабочее оборудование, офис и доступ к внутренним инструментам и системам примерно на уровне собственных команд по оценке рисков. CNBC описывает три уровня доступа, которые строит Anthropic: на первом проводят узкие расследования рисков, на втором публикуют отчёты без одобрения компании, на третьем доступ почти как у сотрудника. METR на третьем, а куда в этой схеме попадает Accenture, Anthropic не раскрыла.

Анализ METR опубликует сама. Запретить публикацию Anthropic не может, но вправе потребовать вычеркнуть сведения из заранее оговорённых категорий: данные клиентов, информацию под адвокатской тайной и сведения об архитектуре моделей.