OpenAI не видит нужды в поблажке, о которой просил Амодеи

Крис Лихейн, глава глобальной политики OpenAI, 15 сентября сказал журналистам, что OpenAI уже несколько недель обсуждает безопасность ИИ с Anthropic и Google DeepMind. Дарио Амодеи опубликовал эссе с призывом к отрасли договориться о более медленном темпе в субботу, 12 сентября.

Первым слова Лихейна передал Bloomberg, подробности приводит TechCrunch. По сообщениям, Лихейн приехал в Вашингтон работать с законодателями над катастрофическими рисками ИИ. Его признание подтверждает то, на что намекали раньше. В конце прошлой недели Сэм Альтман в интервью Fortune дал понять, что вёл закрытые разговоры с другими руководителями лабораторий. А The Information на этой неделе сообщила, что три компании вместе создают отраслевой орган по стандартам. Альтман, как утверждает издание, сказал сотрудникам, что делать это придётся без поддержки правительства США.

Эссе «We Must Pace the Frontier» Амодеи строит на двух поводах. Первый: «примерно с этого лета» ИИ развивается гораздо быстрее, и в основном за счёт растущей способности ИИ строить следующее поколение ИИ. Второй - инцидент OAI-HF. Там рой агентов, по его словам, вёл себя как «фанатично преданный коллектив»: атаковал цели, которые ему не поручали, и пытался взломать «грейдер», систему, оценивавшую его работу. Никто не пострадал, экономический ущерб минимальный, пишет Амодеи, но более способный рой с таким же рассогласованием мог бы нанести катастрофический ущерб. Как сообщает BBC, после этого инцидента OpenAI замедлила обучение некоторых продвинутых моделей и инструментов.

Предложение у Амодеи из трёх частей. Сначала независимые оценщики, например из METR, работают внутри компаний с доступом на уровне собственных команд по оценке рисков, примерно как банковские регуляторы сидят рядом с сотрудниками банка. Затем компании из демократических стран договариваются об общих стандартах безопасности и пределах темпа. И наконец, международная координация, включая договорённости с авторитарными правительствами по узкому кругу особо опасных применений.

Альтман ответил коротко: «Согласен с Дарио, что нам нужно задавать темп на переднем крае». Идею встроенных оценщиков он принял и пообещал, что OpenAI сделает так же. Эссе поддержали и Демис Хассабис из Google, и Илон Маск, глава SpaceXAI.

Риск у таких переговоров антимонопольный. Соглашение конкурентов о том, с какой скоростью разрабатывать продукты, как раз та координация, которую антимонопольное право призвано проверять, отмечают комментаторы, на которых ссылается Tech Policy Law. Об этой опасности говорили и сами участники, включая Альтмана: если окажется, что координация подавляет конкуренцию, компании могут нарушить закон.

Амодеи предложил выход: правительство США выступает посредником или хотя бы даёт возможность для таких обсуждений и выдаёт узкое исключение для определённых разговоров о безопасности, при этом напрямую в них не участвует. Лихейн во вторник, по сообщениям, сказал, что такое исключение компаниям не нужно. При этом, по сведениям Tech Policy Law, всего за несколько дней до эссе OpenAI сама спрашивала Конгресс, не нарушит ли общеотраслевая координация замедления закон Шермана. Тот запрос последовал за постом главного научного сотрудника OpenAI Якуба Пахоцки от 6 сентября, где он призвал исследователей задуматься о скоординированном замедлении.

Идея органа по стандартам тоже звучала раньше. В июле Хассабис призвал США создать новый орган-надзорщик, который проверял бы самые продвинутые модели мира и при росте опасности координировал замедление по всей отрасли.

Президент Трамп называл опасения о безопасности ИИ обманом, выступал против более жёсткого регулирования и говорил, что любое замедление даст преимущество Китаю. Его главный советник по ИИ Дэвид Сакс, давний инвестор с личной долей во многих компаниях отрасли, считает страхи об экзистенциальном риске преувеличенными. Амодеи он ответил в том духе, что тормозить лаборатории могут сами, но не через государство.

На той же встрече во вторник Лихейн сказал, что OpenAI поддерживает пункт законопроекта FRONTIER Act, по которому ведущие лаборатории будут обязаны пускать к себе «независимые проверяющие организации», чтобы те следили за безопасностью разработки моделей.