METR и Redwood три недели искали дыры в мониторинге OpenAI

Этим летом OpenAI на три недели пустила METR и Redwood Research в свою инфраструктуру с глубоким доступом, чтобы они проверили внутреннюю систему мониторинга изнутри. Об этом компания сообщила 22 октября в посте OpenAI в X и назвала эту проверку пилотом встроенной оценки.

Пилот шёл с 21 июля по 11 августа. Работали два человека: один сотрудник METR и один сотрудник Redwood Research. Они стресс-тестировали систему, которая отслеживает рассогласование (misalignment), когда модель ведёт себя не так, как задумали разработчики.

По итогам появился внутренний отчёт на 61 страницу с пробелами в покрытии и новыми уязвимостями. Его получили исследователи и специалисты по безопасности OpenAI.

OpenAI утверждает, что выводы оценщиков помогли укрепить защиту, пока систему расширяли. По словам компании, они также помогут выстроить будущие исследования вместе с METR и другими внешними оценщиками.