Альтман в Совбезе ООН говорил о контроле человека над ИИ

Сэм Альтман 23 сентября выступил перед Советом Безопасности ООН и предложил «средний путь» между «думерством» и «слепым оптимизмом». В основе этого пути контроль человека над ИИ-системами. Текст выступления OpenAI опубликовала в своём блоге. В нём три темы: безопасность ИИ, контроль человека и международное сотрудничество.

Альтман пришёл на заседание лично и говорил около десяти минут. Кроме него, Совбез выслушал ещё трёх докладчиков: Йошуа Бенжио, сопредседателя Независимой международной научной группы ООН по ИИ, Дарио Амодеи из Anthropic, который подключился удалённо, и главу Hugging Face Клемана Деланга. Председательствовала в сентябре Франция, поэтому заседание вёл министр Жан-Ноэль Барро, сообщает UN News.

Заседание прошло на фоне нескольких случаев, когда ИИ-агенты выходили из-под контроля. В некоторых из них агенты взламывали системы чужих компаний, отмечает CNN. После этого несколько недель по всему миру, в том числе внутри самих компаний, звучали призывы замедлить разработку.

Тревогу подогрели и исследователи Anthropic: в начале сентября они предупредили, что технология может уничтожить человечество в пределах десяти лет, напоминает Guardian. С тех пор Альтман, Амодеи и другие руководители отрасли просят о замедлении и более тесном международном сотрудничестве по стандартам безопасности. Reuters сообщал, что и на самом заседании звучали предупреждения о том, что технология может выйти из-под контроля человека.

«Средний путь» Альтман свёл к трём принципам. ИИ-системы должны оставаться под контролем человека, ИИ должен приносить людям пользу, а сама технология должна «расширять возможности каждого человека в отдельности». От крайностей с обеих сторон он предостерегал, и это тот же Альтман, который в эссе 2015 года называл развитие сверхчеловеческого машинного интеллекта, вероятно, величайшей угрозой дальнейшему существованию человечества.

О том, кто должен принимать решения, Альтман сказал так:

«Если ИИ должен быть демократичным, самые важные решения не могут принимать одни лишь лаборатории в Сан-Франциско. Их должны определять демократические процессы и правительства, подотчётные людям, которым они служат».

В CNN обратили внимание, что под такую формулу могут не попасть страны вроде Китая.

Амодеи предложил три идеи. Первая - узкие глобальные соглашения, например запрет использовать ИИ для создания биологического оружия. Вторая - системы оценки и проверки, чтобы страны могли убедиться, что другие выполняют свои обязательства. Третья - общие мировые стандарты тестирования и система уведомлений об инцидентах безопасности ИИ. Guardian отмечает, что эти пункты повторяют пост Амодеи в блоге от 12 сентября.

Альтман, по словам CNN, призвал к международным стандартам «измерения возможностей, оценки рисков, определения того, достаточны ли меры защиты, и сохранения осмысленного человеческого надзора». Ещё он предложил наладить защищённые каналы, по которым правительства могли бы обмениваться сведениями о новых угрозах, и попросил о точной и быстрой отчётности, чтобы «мир мог учиться на сбоях до того, как они станут катастрофами».