Амодеи про тормоза, Хуанг про «беги как можно быстрее»

Дарио Амодеи объяснил свою позицию через автопром: если у конкурирующего автопроизводителя отказали тормоза, это повод всем остановиться и проверить себя. Через некоторое время на ту же сцену Dreamforce в Сан-Франциско вышел Дженсен Хуанг и ответил коротко: «Беги как можно быстрее», сообщает Guardian.

Коротко

• Во вторник на Dreamforce Амодеи повторил призыв притормозить разработку ИИ, а глава Nvidia возразил, что новые правила не нужны: достаточно не выпускать продукт, пока не уверен в его безопасности.
• План Амодеи состоит из трёх пунктов: независимые оценщики внутри ИИ-компаний, общие стандарты безопасности между демократическими странами и со временем более широкая глобальная координация.
• Anthropic взяла на себя пока только первый пункт, по двум оставшимся Амодеи пообещал лишь «диалог с остальной отраслью», без имён оценщиков и без сроков.

Если вы не следили: поводом стал уход бывшего исследователя Anthropic Джейкоба Коксона, который публично заявил, что ИИ может привести к вымиранию человечества в пределах десятилетия. По данным Newsweek, он написал в X, что ведущие лаборатории «мчатся прямиком к самоулучшающемуся сверхинтеллекту и играют нашими жизнями». Его слова всколыхнули спор в Кремниевой долине, привлекли внимание регуляторов и встревожили публику. По данным Guardian, на выходных Амодеи выпустил предложение под названием «We Must Pace the Frontier», которое публично поддержали Сэм Альтман, Демис Хассабис и Илон Маск.

Из трёх шагов Anthropic взяла на себя один

Амодеи сказал, что заманчиво напасть на конкурента и объявить его небезопасным, но ответственнее посмотреть на собственную практику: громкого инцидента у тебя могло и не быть, но идеальных компаний нет.

Дальше он предлагает три вещи: пустить независимых оценщиков внутрь ИИ-компаний, договориться о единых стандартах безопасности между демократическими странами и со временем выйти на более широкую глобальную координацию. На Dreamforce он сказал, что Anthropic уже обязалась работать с независимыми оценщиками, а по двум другим пунктам собирается вести «диалог с остальной отраслью».

Разница между оценщиком снаружи и оценщиком внутри тут ключевая. По данным Guardian, речь о доступе на уровне сотрудника: проверяющий видит модели и внутренние процессы так же, как инженер компании. Это ближе к санитарному врачу с ключом от кухни, чем к инспектору, которому выносят готовое блюдо в зал.

Третий пункт, по данным Guardian, подразумевает координацию по вопросам безопасности в том числе с авторитарными государствами вроде Китая. Больше всего Амодеи, по его словам, удивил темп: выросли не только возможности моделей, но и сами компании.

Хуанг называет разговоры об уничтожении рабочих мест «полной чепухой»

Новые правила, по словам Хуанга, не нужны: компаниям достаточно придержать продукт, пока они не убедились в его безопасности, вместо того чтобы просить вмешательства у американского правительства.

Он описал будущее, в котором «каждая компания, каждое предприятие» станет ИИ-компанией, а те, кто не возьмёт технологию на вооружение, останутся позади. Идею, что ИИ уничтожит рабочие места, Хуанг назвал «полной чепухой».

Днём раньше, на саммите All-In в Лос-Анджелесе, Хуангу прямо на сцене позвонил Дональд Трамп. Хуанг включил громкую связь, и Трамп назвал растущую тревогу вокруг ИИ «мистификацией» и повторил, что замедление сыграет на руку Китаю. Хуанг ответил, что они позаботятся о том, чтобы в американской гонке ИИ «выиграли все».

Альтман называет взлом агентами OpenAI тревожным звонком

Альтман, выступавший позже в тот же день, сказал, что модели развиваются так быстро, что мониторинг и безопасность требуют «нового уровня строгости». Случай, когда агенты OpenAI взломали другую компанию, он назвал тревожным звонком для отрасли.

Публика, по его словам, «права, что боится»: из-за возможной потери контроля и из-за того, что небольшая группа сильных ИИ-компаний может навязать миру свои взгляды. Готовиться, считает Альтман, надо к надвигающейся волне кибератак: до открытых моделей, способных нанести серьёзный ущерб, осталось недолго, и короткий запас преимущества стоит потратить на собственную защиту.

Раньше Альтман поддерживал призыв Амодеи притормозить, но во вторник сказал, что разочарован формулировкой: компании говорят «мы притормозим, только если другие будут ответственными», и такие слова, по его мнению, пугают публику. Мир должен доверять им потому, что они поступают правильно ради самой правильности, сказал он. При этом Альтман считает, что мир останется «крайне человекоцентричным», как бы хороша ни стала технология.

Ни одно из выступлений не проясняет, кто именно будет оценивать Anthropic, что конкретно оценщикам покажут и когда. По данным Guardian, критики уже назвали предложение попыткой опередить более жёсткое государственное регулирование и сохранить расстановку сил в отрасли. На наш взгляд, слабое место плана видно из его же описания: по двум пунктам из трёх пока обещан только разговор.

Куда смотреть до IPO OpenAI и Anthropic идут к первичным размещениям, которые, по прогнозам аналитиков, станут одними из крупнейших в истории и впервые покажут публике их финансы. Альтман сказал, что переносит IPO OpenAI на следующий год из соображений безопасности, конкретной даты он не назвал. Сроков по двум оставшимся пунктам плана Амодеи тоже никто не называл.