Амодеи: открытые веса лишь сдвигают власть к чипам

Глава Anthropic Дарио Амодеи объяснил концентрацию власти в ИИ законами масштабирования и заявил, что открытые веса лишь смещают её к владельцам вычислений и чипов. Спор с управляющим партнёром Atreides Management Гэвином Бейкером он вёл публично в X, обмен репликами описал Thenewstack.

Коротко

• По логике Амодеи, доступ к весам не отменяет зависимости от железа: модели растут, аренда мощностей упирается в цену и доступность, а контроль остаётся у владельцев чипов и дата-центров.
• Anthropic поддержала калифорнийский SB 53: передовой считается модель, обученная более чем на 10^26 операций с плавающей запятой, а порог дополнительных требований начинается с выручки в 500 миллионов долларов в год.
• Амодеи предлагает обязательные проверки безопасности для моделей с опасными возможностями независимо от способа выпуска, а разделение на передовые и непередовые системы должно замедлять лидеров и оставлять запас догоняющим.

Для команд, которые строят на открытых весах ради контроля над данными и тонкой настройки, спор упирается в счёт за вычисления. Позиция Амодеи выглядит как попытка переопределить саму метрику независимости: не право скачать файл, а способность его дообучать и обслуживать. При этом критерии, по которым модель попадёт в разряд передовых, судя по всему, останутся спорными дольше, чем сами правила, и решать это придётся регуляторам.

Амодеи объясняет концентрацию власти законами масштабирования

«ИИ структурно устроен так, что склонен концентрировать власть, и причины этого не имеют отношения к регулированию», написал Амодеи. Открытые веса, по его словам, помогают, но остаются далеко не достаточным решением, поскольку лишь отчасти смещают концентрацию к тем, у кого больше всего вычислений и чипов.

Бейкер, управляющий партнёр Atreides Management, свёл спор к выбору между сосредоточением мощных моделей у нескольких регулируемых компаний и широким распространением моделей без таких же ограничений. Он сослался на слова Марка Цукерберга: утверждение, что ИИ настолько опасен, что единственный безопасный путь состоит в крайней концентрации власти, само по себе проблематично.

Бейкер также заявил, что регулярные предупреждения Амодеи о рисках ИИ способны усилить сопротивление строительству дата-центров и ограничить инфраструктуру, нужную для пользы от технологии. Амодеи в ответ отверг формулу, по которой регулирование равно захвату регулятора и концентрации власти, назвав её упрощённой картиной мира.

Anthropic не подписала организованное Nvidia письмо от 24 июля

Anthropic оказалась среди немногих крупных лабораторий, не подписавших организованное Nvidia письмо от 24 июля, авторы которого утверждали, что открытые веса поддерживают конкуренцию, давая клиентам альтернативу проприетарным API. Позже Амодеи пояснил, что компания не требует полного запрета, и назвал открытые модели без опасных возможностей общественным благом.

Открытые веса дают возможность дообучить модель и держать чувствительные данные внутри собственного контура, но с ростом моделей это даётся тяжелее. Аренда оборудования снимает не все ограничения: команды остаются зависимы от его цены и доступности. Пять европейских компаний недавно договорились о покупке вычислений, которых пока не существует.

Оценка меняется, когда модель способна помочь в проведении серьёзной атаки. После публикации весов разработчик не отзовёт все копии и не помешает снять защиты, поэтому для таких моделей Амодеи требует обязательного тестирования безопасности независимо от способа выпуска. Anthropic недавно поддержала и срочный призыв к самым мощным лабораториям притормозить.

В SB 53 передовой считается модель, обученная более чем на 10^26 операций

Anthropic поддержала калифорнийский SB 53, где передовой считается модель, обученная более чем на 10^26 операций с плавающей запятой, а разработчики с выручкой выше 500 миллионов долларов в год обязаны публиковать документ о том, как они тестируют катастрофические риски и реагируют на них.

Похожее разделение Амодеи предлагает и в федеральной политике: тестирование, которое Anthropic отстаивает в CAISI и Белом доме, предполагает более строгие проверки для передовых моделей, чем для непередовых. «Мы очень стараемся делать предложения, которые ставят в невыгодное положение (замедляют) передовые компании ИИ и дают преимущество меньшим конкурентам», написал он.

Пороги по вычислениям предсказуемы, но не отражают возможности, добавленные дообучением и внешними инструментами. В предварительных кибероценках CAISI модель Kimi K3 от Moonshot AI отстала от сильнейших закрытых систем: в симулированной атаке на небольшую корпоративную сеть она прошла все 32 шага в одной попытке из десяти, а произвольного исполнения кода не добилась ни на одном из 41 образца ExploitBench, тогда как сильнейшие модели добивались его в среднем на 20.

Где проходит граница передовых систем. Амодеи поддерживает идею Демиса Хассабиса о надзорном органе по стандартам ИИ по образцу FINRA: модели попадали бы в разряд передовых после превышения регулярно обновляемых порогов на бенчмарках, а правила были бы одинаковыми для открытых и закрытых систем. Конкретных сроков и критериев для федерального уровня пока не названо, и регуляторам придётся определять момент перехода догоняющей лаборатории в передовую категорию до публикации весов.