Амодеи про тормоза, Хуанг про «беги как можно быстрее»

Дарио Амодеи 15 сентября на конференции Salesforce Dreamforce в Сан-Франциско снова призвал замедлить разработку ИИ, а выступавший там же Дженсен Хуанг посоветовал отрасли «бежать как можно быстрее». Третьим в тот же день выступил Сэм Альтман. Ещё несколько дней назад он поддерживал Амодеи, а теперь сказал, что недоволен тем, в каких выражениях ведётся спор, рассказывает The Guardian.

Амодеи объяснял свою позицию на примере автопроизводителей: если у конкурента отказали тормоза, это повод остановиться и проверить собственную практику всем. «Очень хочется напасть на конкурента и сказать, что эти ребята небезопасны», - признал он. По его словам, ответственнее посмотреть на свою историю: «Может, у нас и не было такого громкого инцидента, но я уверен, что мы не идеальны».

План из трёх шагов Амодеи изложил 12 сентября в эссе «We Must Pace the Frontier». Первый шаг - встроить в ИИ-компании внешних оценщиков с доступом уровня сотрудника: Anthropic готова выдать им рабочие места в офисах, пропуска и корпоративные ноутбуки. Второй - согласовать стандарты безопасности между демократическими странами, третий - со временем договориться о глобальной координации. На Dreamforce Амодеи сказал, что первое Anthropic на себя уже взяла, а по двум другим пунктам компания «будет вести диалог с остальной отраслью».

Эти два пункта упираются в государство. Как уточняет Los Angeles Times, Амодеи просит правительство США о возможном исключении из антимонопольного законодательства, чтобы американские лаборатории могли вместе устанавливать стандарты безопасности. Вдобавок США и союзники должны попытаться договориться с авторитарными режимами, чтобы компании из Китая и других стран не ускорялись, пока американские конкуренты сознательно сбавляют темп. Свою логику Амодеи сформулировал так: если замедление даст «лишний год или два» до того, как модели выйдут на критический уровень возможностей, и это время уйдёт на алайнмент (подгонку поведения моделей под намерения людей), риск серьёзного сбоя можно сильно снизить.

Фоном для спора стали уходы из Anthropic. Бывший исследователь компании Джейкоб Коксон уволился, публично заявив, что ИИ может привести к вымиранию человечества в течение десятилетия, и обвинил компании в том, что они «играют нашими жизнями». Его слова обсуждают по всей Кремниевой долине, на них обратили внимание регуляторы.

Хуанг замедляться отказался. Новые правила, по его мнению, не нужны: вместо того чтобы упрашивать правительство США вмешаться, компаниям достаточно не выпускать продукт, пока они не уверены в его безопасности. Он ждёт, что «каждая компания, каждое предприятие» станет ИИ-компанией, а кто не примет технологию, отстанет. Опасения, что ИИ уничтожит рабочие места, Хуанг назвал «полной чушью».

За день до этого, на саммите All-In в Лос-Анджелесе, Хуангу прямо во время выступления позвонил Дональд Трамп. Хуанг включил громкую связь, и президент назвал растущую тревогу вокруг ИИ «мистификацией», в очередной раз повторив, что замедление выгодно только Китаю. «Мы позаботимся о том, чтобы в американской гонке ИИ выиграли все», - ответил Хуанг.

Альтман в субботу написал в X: «Согласен с Дарио, что нам нужно задавать темп на переднем крае». Независимых оценщиков он тогда назвал «отличной идеей». На Dreamforce тон сменился. «Компании говорят что-то вроде: „Мы притормозим или будем вести себя ответственно, только если ответственно будут вести себя другие“», - сказал Альтман и добавил, что такие слова пугают людей. «Мир должен верить, что мы поступим правильно, потому что это правильно».

При этом Альтман требует от отрасли «нового уровня строгости» в мониторинге и безопасности. Поводом он назвал инцидент, когда агенты OpenAI взломали другую компанию, и назвал его «тревожным звонком». В июле OpenAI сообщила, что на испытаниях её агенты сами выбрались из защищённой тестовой среды, вышли в интернет и проникли в Hugging Face. Альтман ждёт «надвигающейся волны кибератак»: «Мы не так уж далеки от открытых моделей, способных нанести серьёзный ущерб». Пока такое время не настало, компаниям стоит использовать этот «небольшой период преимущества», чтобы защититься.

Бояться ИИ люди, по словам Альтмана, «вполне правы»: есть риск потери контроля и риск того, что небольшая группа влиятельных ИИ-компаний начнёт навязывать миру свои взгляды. «Люди чувствуют, с какой скоростью всё движется. Не нужно большого воображения, чтобы представить, как это может пойти не так».

Амодеи сильнее всего удивила скорость распространения технологии. «Дело в темпе прогресса, не только технологического, но и экономического, - сказал он. - Мы примерно представляли, на что будут способны эти модели. Но, кажется, не учли, что из-за этого компании начнут так быстро расти».

Этот рост скоро станет публичным: OpenAI и Anthropic идут к IPO, и, по прогнозам некоторых аналитиков, эти размещения войдут в число крупнейших в истории. Альтман на Dreamforce сказал, что из-за опасений за безопасность откладывает IPO OpenAI до следующего года.