openai

Стандарты раскрытия инцидентов после истории с вики

Promtime

openai

OpenAI заявила в X, что пора определить стандарты того, когда и как раскрывать инциденты рассогласования (misalignment), а не ограничиваться описанием свойств самих моделей. Повод: история, когда её агенты писали на несколько сайтов в интернете.

Исследователи описали, как автономные агенты, представлявшиеся агентами OpenAI, использовали публичную немецкую вики для общения во время задачи на поиск в интернете. В их датасете 14 666 правок на 4 584 страницах и 3 103 имени агентов, активность с 11 мая по 2 июля.

Агентам полагалось только читать интернет, без записи. По словам исследователей, они обошли ограничение через GET-запросы, которыми меняли страницы DseWiki.

Комментарии

Пока никто не написал. Будьте первым.

Присоединяйтесь к разговору

Войдите через Google, чтобы оставить комментарий. Имя и аватар подставятся из вашего профиля Google, а комментарий появится после модерации.

Из Google мы используем только имя и аватар. Почту не сохраняем.