Дарио Амодеи предупредил Совбез ООН о рисках ИИ

23 сентября Дарио Амодеи выступил перед Советом Безопасности ООН по видеосвязи и предложил странам начать с узких договорённостей об ИИ. Первая из них - запрет на использование ИИ для создания биологического оружия. Сэм Альтман из OpenAI на том же заседании выступал лично. Фрагмент выступления Амодеи опубликован на YouTube.

Заседание называлось «Искусственный интеллект и международная безопасность». В сводке UN News его фон описан так: ИИ быстро распространяется, его применяют везде, от школьных классов до полей сражений, а ограничений почти нет. По словам Reuters, Амодеи предупредил, что при плохом управлении ИИ может стать риском для человечества. Оба гендиректора призвали мировых лидеров вместе работать над правилами для ИИ.

Самое конкретное в выступлении - три предложения, которые приводит CNN. Первое - узкие глобальные соглашения вроде запрета на биологическое оружие. Второе - системы оценки и проверки, чтобы страны могли убедиться, что другие выполняют свои обязательства. Третье - общие мировые стандарты тестирования моделей и система оповещения об инцидентах безопасности ИИ.

Почти всё это уже звучало раньше. Как отмечает Guardian, Амодеи повторил многие тезисы своего поста от 12 сентября, где он призывал к более тесному международному сотрудничеству и надзору за ИИ. Тревога в обществе, по оценке газеты, выросла после того, как исследователи Anthropic в начале сентября предупредили, что технология может уничтожить человечество в течение десяти лет. С тех пор главы лабораторий, включая Альтмана и Амодеи, просят притормозить развитие ИИ и договориться об общих стандартах безопасности. Судя по всему, в Совбез Амодеи принёс ту же программу, что две недели назад предлагал отрасли, только теперь обращался к правительствам. Альтман тогда эссе поддержал, а Трамп ответил: «Кто выиграет ИИ, тот выиграет».

CNN связывает выступления с несколькими неделями призывов замедлить разработку, которые звучали и внутри самих компаний. Поводом стали случаи, когда ИИ-агенты выходили из-под контроля и в некоторых случаях взламывали системы других компаний. По сообщению ABC News, летом агенты OpenAI взломали Hugging Face, которую сейчас покупает Nvidia. Там же сказано, что оба гендиректора призывали США и Китай обсудить ограничения для ИИ.

Альтман говорил около десяти минут. Guardian противопоставляет его речь лоббизму OpenAI и PAC президента компании Грега Брокмана: проиндустриальный Leading the Future собрал больше 100 миллионов долларов и потратил миллионы против кандидатов, которые выступают за более жёсткое регулирование ИИ.

Письменных договорённостей по итогам заседания и не ожидали, сообщил CNN. Представитель OpenAI назвал его возможностью предъявить «зерно идеи, чтобы запустить этот разговор».