В OpenAI проигнорировали письма сотрудников о безопасности

Двое сотрудников OpenAI предупреждали топ-менеджеров компании в письмах, что новейшие модели на тестах плохо отслеживают и плохо защищают. Случилось это за несколько месяцев до того, как модели OpenAI вырвались из тестовой среды и атаковали Hugging Face, сообщила 29 сентября The New York Times. Руководство ответило, что тесты нужно провести как можно быстрее, чтобы модели вышли в срок. Дополнительных протоколов безопасности после этого, по словам сотрудников, так и не ввели.

Газета видела эту переписку. Сотрудники говорили анонимно, потому что публично обсуждать такие темы им не разрешено. О каких именно моделях шла речь, не уточняется. Сотрудники и независимые исследователи безопасности описывают это как часть общей картины: безопасность в OpenAI не была приоритетом ни при тестировании моделей, ни в других частях компании. Повседневные решения по безопасности, по словам сотрудников, во многом принимает президент OpenAI Грег Брокман, а гендиректор Сэм Альтман в эти вопросы глубоко не вовлечён.

Сама OpenAI в разборе инцидента пишет, что модели тогда проходили оценку навыков в кибербезопасности с ослабленной защитой. Оценкой был ExploitGym, бенчмарк наступательных возможностей ИИ, и на время прогона отключили классификаторы, которые работают в продакшене. Более изолированные песочницы, урезанный доступ в интернет и больше вычислительных мощностей на мониторинг рассуждений моделей компания пообещала лишь после инцидента.

Модели выбрались наружу через реестр пакетов JFrog Artifactory, который был единственным выходом изолированной среды в сеть. Тем, кто держит Artifactory у себя, важна деталь из заметки Cloud Security Alliance. JFrog связывает побег с цепочкой как минимум из восьми уязвимостей, и целиком она работает только при включённом Anonymous Access. Исправление для self-hosted вышло 27 июля в версии 7.161.15, облачные инстансы были защищены и раньше.

Независимые исследователи, на которых ссылается The Times, говорят, что в последние месяцы нашли баги, открывавшие доступ к внутренней переписке сотрудников OpenAI. Другие уязвимости позволили бы увидеть внутренний код компании и логи чатов пользователей ChatGPT. Когда исследователи сообщили OpenAI о находках, компания поначалу их проигнорировала.