Открытые веса лишь смещают концентрацию, считает Амодеи

Глава Anthropic Дарио Амодеи назвал открытые веса «далеко не достаточным решением» проблемы концентрации власти в ИИ: по его словам, они лишь сдвигают перевес к тем, у кого больше всего вычислительных мощностей и чипов. Спор развернулся публично, в переписке с инвестором Гэвином Бейкером на X, о чём пишет The New Stack.

Коротко

• Концентрацию Амодеи объясняет законами масштабирования и отделяет её от государственной политики: открытые веса помогают дорабатывать модель и держать данные внутри своего контура, но не снимают зависимость от цены и доступности оборудования.
• Anthropic поддержала калифорнийский SB 53: передовой там считается модель, обученная более чем на 10^26 операций с плавающей запятой, а дополнительные требования касаются разработчиков с выручкой свыше 500 млн долларов в год.
• Американский Center for AI Standards and Innovation в предварительных кибероценках нашёл, что модель Kimi K3 от Moonshot AI прошла весь 32-шаговый сценарий атаки лишь в одной попытке из десяти.

Спор о доступе к весам всё чаще упирается в инфраструктуру: судя по всему, для небольших команд решающим оказывается счёт за аренду ускорителей и очередь на них, а лицензия модели вторична. Позиция Амодеи выглядит как попытка развести два вопроса, которые в отрасли обычно склеивают: распределение доступа к моделям и распределение вычислительной власти. Для практиков выбор открытой модели сам по себе не гарантирует автономии.

Бейкер и Цукерберг видят опасность в концентрации моделей у нескольких компаний

Гэвин Бейкер, управляющий партнёр Atreides Management, свёл спор к выбору между сосредоточением мощных моделей у нескольких регулируемых компаний и их широким распространением без тех же ограничителей. Он сослался на главу Meta Марка Цукерберга, который писал, что идея, будто единственный безопасный путь состоит в крайней концентрации власти, сама по себе выглядит проблематичной.

Бейкер утверждал, что больше моделей в обороте шире распределяет власть и повышает шансы использовать системы, отвечающие ценностям пользователя. Регулярные предупреждения Амодеи о рисках ИИ, по его словам, способны усилить сопротивление новым дата-центрам и ограничить инфраструктуру, необходимую для обещанных выгод технологии.

Амодеи отверг такую развилку. Он назвал упрощённой распространённую в Кремниевой долине формулу, где регулирование равно захвату регулятора и концентрации власти, и добавил, что требования на основе объективных стандартов способны ограничивать сильные компании. Институты в лучшем виде, по его словам, закрепляют власть за идеями, а не за людьми, и тем самым её децентрализуют.

Anthropic не подписала организованное Nvidia письмо от 24 июля в защиту открытых весов

Открытые веса дают возможность адаптировать модель и держать чувствительные данные в собственном контуре, но с ростом моделей это даётся тяжелее. Аренда оборудования доступна и небольшим командам, однако они остаются заложниками его цены и наличия. Недавно пять европейских компаний договорились о покупке вычислений для ИИ, которых пока не существует.

Anthropic оказалась среди немногих крупных ИИ-лабораторий, не подписавших организованное Nvidia письмо от 24 июля: его авторы доказывали, что открытые веса усиливают конкуренцию, давая клиентам альтернативу проприетарным API. Позже Амодеи уточнил, что сплошного запрета компания не поддерживает, а открытые модели без опасных возможностей называет общественным благом.

Его позиция меняется, когда модель способна помочь провести серьёзную атаку: после публикации весов исходный разработчик не соберёт все копии и не помешает снятию защитных механизмов. Для моделей такого уровня Амодеи требует обязательного тестирования безопасности независимо от способа выпуска, а Anthropic поддержала призыв к самым сильным лабораториям притормозить.

SB 53 считает передовой моделью обучение более чем на 10^26 операций

Амодеи оспаривает тезис, что регулирование неизбежно защитит Anthropic и других лидеров от конкурентов. По его словам, компания поддерживала рамки, где строгие требования ложатся на передовые лаборатории, а мелкие разработчики выводятся из-под них: «Мы очень стараемся делать предложения, которые замедляют передовые ИИ-компании и дают преимущество более мелким конкурентам».

В калифорнийском SB 53, который Anthropic поддержала, передовой считается модель, обученная более чем на 10^26 операций с плавающей запятой, а разработчики с выручкой свыше 500 млн долларов в год обязаны, среди прочего, публиковать документ о проверке катастрофических рисков и реакции на них. Похожее разделение Anthropic предлагает CAISI и Белому дому: для передовых моделей проверки строже, чем для остальных.

В предварительных кибероценках CAISI модель Kimi K3 от Moonshot AI уступила сильнейшим закрытым системам: в имитации атаки на небольшую корпоративную сеть она прошла весь 32-шаговый путь в одной попытке из десяти. На 41 образце ExploitBench модель ни разу не добилась произвольного выполнения кода, тогда как самые способные модели справлялись в среднем с 20.

Где пройдёт граница передовых моделей Амодеи поддерживает предложение главы Google DeepMind Демиса Хассабиса о надзорном органе для ИИ по образцу FINRA: статус передовой системы модель получала бы после превышения регулярно обновляемых бенчмарк-порогов, а правила были бы одинаковыми для открытых и закрытых выпусков. Сроки и конкретные пороги не называются, и регуляторам ещё предстоит решать, когда очередной претендент перешёл в передовую категорию, желательно до того, как веса опубликованы и изменены вне контроля создателя.