Кристиано усилит надзор за безопасностью OpenAI

Пол Кристиано вошёл в совет OpenAI Foundation и в его комитет по безопасности и защите (Safety and Security Committee), который отвечает за надзор над практиками безопасности и защиты во всей OpenAI. О назначении сообщила сама OpenAI в публикации на своём сайте.

Коротко

• Кристиано также получает статус наблюдателя без права голоса в совете OpenAI Group PBC, коммерческой части структуры, то есть будет присутствовать на его обсуждениях без формального голоса.
• В OpenAI связывают назначение с ростом возможностей ИИ и рассчитывают, что Кристиано привнесёт независимый голос: будет оспаривать допущения, оценивать защитные меры и укреплять подотчётность вокруг критических решений.
• Кристиано основал Alignment Research Center, за его плечами годы работы в NIST; в заголовке Financial Times его описали как высокопоставленного чиновника американского агентства, которое тестирует модели.

Назначение затрагивает узкое место в конструкции OpenAI: комитет по безопасности и защите надзирает за практиками внутри той же организации, которая разрабатывает модели, а внутренний надзор такого рода традиционно упрекают в недостатке независимости. Приход человека с опытом и в исследованиях выравнивания, и в государственной стандартизации выглядит как попытка укрепить именно эту линию, а не расширить состав совета. Насколько наблюдательская роль в совете OpenAI Group PBC даст реальный рычаг, вероятно, станет понятно только по конкретным решениям, которые пройдут через комитет.

Комитет по безопасности и защите работает при совете OpenAI Foundation и отвечает за надзор над практиками безопасности и защиты во всей OpenAI. Фонд контролирует коммерческую OpenAI Group PBC, и именно в совете этой структуры Кристиано получает место без права голоса, тогда как в совете фонда и в комитете он работает полноправным участником.

В OpenAI отмечают, что по мере роста возможностей ИИ безопасность, защита, выравнивание и управление значат всё больше. Работу Кристиано над выравниванием и его годы в NIST там называют факторами, которые усилят надзорную функцию фонда, а его роль описывают через три действия: оспаривать допущения, оценивать защитные меры и укреплять подотчётность вокруг критических решений.

Кристиано известен как основатель Alignment Research Center, исследовательской организации в области выравнивания ИИ; сама OpenAI описывает его опыт через три области: выравнивание, безопасность и стандарты. Financial Times вынесла в заголовок то, что OpenAI берёт в совет высокопоставленного американского чиновника из агентства, которое тестирует модели.

Открытые вопросы о полномочиях Кристиано

OpenAI не называет дату вступления Кристиано в должность и срок его полномочий. В сообщении не раскрыт ни объём прав наблюдателя в совете OpenAI Group PBC, ни состав комитета по безопасности и защите после его прихода. Не уточняется и то, как новая роль соотносится с его работой в NIST и в Alignment Research Center.