У отраслевого органа Anthropic, OpenAI и Google есть имя

Google, OpenAI и Anthropic создают отраслевой орган, который будет писать стандарты безопасности для передового ИИ. По информации The Information, его рабочее название Standards Authority for Frontier AI, или SAFA. Он должен работать независимо и закрывать пробелы в государственном надзоре. Об этом 27 сентября написал Proactiveinvestors. Сроки запуска и руководство SAFA пока не названы.

Площадка с почти таким же мандатом у этих компаний уже есть. 26 июля 2023 года Anthropic, Google, Microsoft и OpenAI объявили о создании Frontier Model Forum, «нового отраслевого органа» для безопасной и ответственной разработки передовых моделей. В анонсе обещали развивать технические оценки и бенчмарки и собрать публичную библиотеку решений в поддержку лучших практик и стандартов. Сейчас форум называет себя некоммерческой организацией при поддержке отрасли. Свой технический отчёт о проверках моделей на опасные возможности, от помощи с оружием массового поражения до кибератак, он сам описывает как «срез текущих практик».

Вторая линия касается только OpenAI и Anthropic. Как сообщается, они обсуждали соглашение о взаимном тестировании: каждая получит доступ к коммерческим моделям другой и будет искать в них уязвимости и неожиданное поведение, а хранение данных, полученных на таких проверках, ограничат. У такой координации лабораторий есть антимонопольный риск. Амодеи просил под неё узкое государственное исключение, а глава глобальной политики OpenAI Крис Лихейн 15 сентября говорил, что такая поблажка компаниям не нужна.

23 сентября Сэм Альтман и Дарио Амодеи выступили о безопасности ИИ в Совете Безопасности ООН. Альтман сказал, что крупные решения об ИИ должны приниматься через демократические институты и правительства. Амодеи призвал к международным соглашениям и глобальным стандартам тестирования новых моделей. OpenAI, кроме того, отдельно призывает США возглавить международную работу над техническими стандартами для продвинутого ИИ. Среди прочего речь идёт о системах, способных к рекурсивному самоулучшению, когда модели помогают создавать следующие модели.

Вопрос о регулировании ИИ остаётся спорным. Одни требуют более жёстких защитных мер, другие считают, что для борьбы с рисками хватит действующих законов и рыночных механизмов. Президент США Дональд Трамп выступает против новых ограничений для ИИ и говорит, что США и Китаю стоит оставить развитие технологии на нынешнем курсе.