Амодеи: открытые веса лишь сдвигают власть к чипам

Дарио Амодеи в публичном споре с инвестором Гэвином Бейкером на X заявил, что открытые веса не снимают проблему концентрации власти в ИИ. Своим ответом он считает регулирование с порогами: передовым лабораториям жёсткие требования, небольшим разработчикам послабления. Спор 17 августа пересказал The New Stack.
Исходный тезис Амодеи такой: власть в ИИ сосредотачивается из-за законов масштабирования, а политика правительств тут вторична. Эти законы связывают качество модели с объёмом вычислений, на которых её обучают. «ИИ по своей структуре - технология, которая склонна концентрировать власть, по причинам, никак не связанным с регулированием», - написал он. Об открытых весах высказался так: «Они немного помогают, но далеко не достаточное решение, потому что просто смещают концентрацию к тем, у кого больше всего вычислительных мощностей и чипов».
Для разработчика на практике это означает следующее. Открытые веса дают адаптировать модель под себя и держать чувствительные данные в своём контуре, но чем больше модель, тем это труднее. Небольшие команды могут арендовать железо, но тогда зависят от его цены и наличия. Пять европейских компаний недавно договорились купить вычислительные мощности, которых пока не существует.
Ложный выбор
Бейкер, управляющий партнёр Atreides Management, свёл спор к двум вариантам: либо мощные модели остаются у нескольких регулируемых компаний, либо расходятся широко и без тех же ограничений. В поддержку он привёл слова Марка Цукерберга: «Представление о том, что ИИ настолько опасен, что единственный безопасный путь - крайняя концентрация власти, кажется проблемным по самой своей сути». По мнению Бейкера, чем больше моделей в обороте, тем шире распределена власть и тем выше шанс, что у людей будут системы, отражающие их ценности. Кроме того, предупреждения Амодеи о рисках, считает инвестор, могут подогреть сопротивление строительству новых дата-центров.
Амодеи назвал такую постановку «ложным выбором». «Я знаю, что в Кремниевой долине есть такое сокращение: регулирование = захват регулятора = концентрация власти. Но мне эта картина мира всегда казалась слишком упрощённой», - ответил он. Регулирование, по его словам, способно сдерживать сильные компании, если требования опираются на объективные стандарты, а лучшие институты «наделяют властью идеи, а не людей, и тем самым децентрализуют её».
Как устроены пороги
Обвинение в том, что регулирование неизбежно защитит Anthropic и других действующих игроков от конкуренции, Амодеи отвергает. «Мы очень стараемся делать предложения, которые ставят в невыгодное положение (замедляют) передовые ИИ-компании и дают преимущество небольшим конкурентам», - написал он.
Пример - калифорнийский закон SB 53, который Anthropic поддержала. Передовой там считается модель, на обучение которой ушло больше 10^26 операций с плавающей запятой. Разработчики с выручкой выше 500 миллионов долларов в год получают дополнительные обязанности, в том числе публикуют документ о том, как проверяют модели на катастрофические риски и как на них реагируют.
То же разделение Амодеи хочет видеть в федеральной политике. «Процесс тестирования, за который мы выступали в CAISI и Белом доме, предполагает более строгие проверки для передовых моделей, чем для непередовых», - написал он. CAISI - американский Центр стандартов и инноваций в области ИИ. Такой подход, по словам Амодеи, оставил бы претендентам место, чтобы догнать лидеров, и притормозил бы тех, кто уже строит самые способные системы. Ещё он поддерживает идею главы DeepMind Демиса Хассабиса о независимом органе по стандартам по образцу FINRA, саморегулируемой организации американского брокерского рынка. Модель в этой схеме становится передовой, когда проходит пороги на бенчмарках, а сами пороги регулярно пересматриваются. Правила одинаковы для открытых и закрытых моделей.
С открытыми весами позиция Anthropic не новая. 24 июля компания оказалась среди немногих крупных лабораторий, не подписавших письмо, которое организовала Nvidia: его авторы утверждали, что открытые веса поддерживают конкуренцию, давая клиентам альтернативу проприетарным API. Позже Амодеи уточнил, что Anthropic не поддерживает тотальный запрет. Открытые модели без опасных возможностей он называет «общественным благом», но когда модель способна помочь в серьёзной атаке, позиция меняется. В посте Anthropic он объяснял, почему открытые модели потенциально рискованнее закрытых: защитные ограничения и мониторинг использования для них выстроить очень трудно, а выпущенные веса не отозвать. Разработчик не вернёт все копии и не помешает пользователям снять защиту. Поэтому модели такого уровня, по мнению Амодеи, должны проходить обязательное тестирование безопасности независимо от способа релиза.
Где провести черту
Порог по объёму обучающих вычислений разработчик может предвидеть заранее. Но возможности, добавленные дообучением или подключением внешних инструментов, он может не учесть. Бенчмарки измеряют такие способности напрямую, хотя чёткую границу их результаты дают редко.
Насколько размыта эта граница, видно по оценке CAISI. По предварительным киберпроверкам Kimi K3 от Moonshot AI отстаёт от сильнейших закрытых моделей: ни на одном из 41 примера ExploitBench она не добилась выполнения произвольного кода, тогда как самые способные модели добивались этого в среднем на 20. При этом в симуляции атаки на небольшую корпоративную сеть Kimi K3 уже прошла всю цепочку из 32 шагов, пусть и в одной попытке из десяти. Версия, протестированная до релиза, может вести себя иначе после дообучения или подключения инструментов. А у DeepSeek меньшая модель обошла собственный флагман, так что размер модели надёжной мерой возможностей не служит.
OpenAI тем временем уже держит одну модель, которой не хочет давать пользоваться большинству людей, и другую, которую не выпустит, пока её тестирование безопасности не наверстает упущенное.
Самые жёсткие правила по схеме Амодеи обошли бы большинство небольших разработчиков. Но регуляторам всё равно пришлось бы решать, когда кто-то из них перешёл в передовую категорию, и решать желательно до того, как веса окажутся в открытом доступе и их доработают уже вне контроля создателя.
Дальше
Первичные оповещения в OpenAI разбирают модели
Около 15 минут понадобилось ChatGPT Work, чтобы найти 13 проблем на простом статическом сайте gregbrockman.com, и ещё час, чтобы их закрыть, включая переезд с AWS на Cloudflare Pages.
Читайте также
- Спор об открытых весах: Anthropic изложила свою позицию
- Вместо запрета открытых весов Амодеи требует тестов
- Амодеи предлагает ограничить скорость самоулучшения ИИ
- Отставка Хуанга, Рубио и лоббисты Anthropic
- WSJ: Anthropic назовут национальным чемпионом ИИ
- Веса моделей DeepSeek и Kimi указали на чипы Blackwell
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

