OpenAI позвала Hacktron искать дыры в своих системах

OpenAI 6 ноября объявила о партнёрстве с Hacktron: исследователи стартапа вместе с инженерами компании будут искать уязвимости в её системах, прежде всего там, где они взаимодействуют со сторонними сервисами. В OpenAI Hacktron попала через программу Security Bug Bounty. Как сказано в посте OpenAI, компанию впечатлили последствия уязвимостей, которые исследователи Hacktron находили и раскрывали, а теперь стартап получает расширенный доступ к передовым моделям OpenAI через Daybreak Red.

Приоритетные зоны для проверки стороны выберут вместе. Hacktron делает ИИ-агентов для код-ревью, пентеста и red teaming, а её исследования, по словам OpenAI, находили дыры там, где приложения, облако и системы входа работают друг с другом. В OpenAI объясняют, что такое сочетание навыков ценится ещё выше, когда ИИ-агенты связывают сервисы по-новому, и совместная работа должна помочь проверить эти связи глубже. По описанию Business Insider, Hacktron - стартап из Сан-Франциско, запущенный меньше года назад, и сотрудников в нём меньше 10.

В июле, как сообщает Business Insider, команда Hacktron нашла брешь в инфраструктуре OpenAI. Согласно раскрытию самой Hacktron, через вход на форум поддержки сообщества OpenAI можно было взломать аккаунты ChatGPT и Codex любого пользователя или сотрудника компании, который туда заходил. Исследователи вошли в аккаунт сотрудника OpenAI и попросили его Codex предложить правки во внутреннем репозитории кода. На этом, по их словам, они остановились, к внутреннему коду не обращались и сообщили о проблеме в OpenAI. «Мы сузили права токенов входа в Community и отозвали затронутые токены и сессии», - сказал представитель OpenAI.

Business Insider приводит и слова сооснователя и гендиректора Hacktron Зейна Чжана (Zayne Zhang). Эксплуатировать уязвимость команда пыталась через Claude: у Hacktron был доступ к Cyber Verification Program компании Anthropic, где для авторизованных исследований безопасности ослаблены некоторые киберограничения Claude. Теперь та же команда получит расширенный доступ уже к моделям самой OpenAI. По словам Чжана, его исследователи начали проверять передовые ИИ-компании вроде OpenAI на бреши, которыми могли бы воспользоваться ИИ-агенты. За июльскую находку Hacktron, по её раскрытию, получила 6500 долларов. Ровно эту сумму OpenAI привела как прежнюю выплату за захват аккаунта ChatGPT в один клик, когда в начале ноября подняла ставки более чем вчетверо: критическая уязвимость в ChatGPT, Codex или API Platform оценивается до 30 000 долларов.

В те же дни OpenAI объявила, что исследователи Cathedral присоединятся к её командам в следующем спринте по безопасности. Повышенные выплаты, по словам компании, должны дать независимым исследователям больше причин искать то, что пропустило её собственное тестирование. Какие системы входят в охват программы и куда отправлять находки, OpenAI перечисляет на странице Security Bug Bounty.

Среди опубликованных Hacktron уязвимостей есть SSRF в Next.js: самостоятельно размещённое приложение на встроенном сервере Node.js можно было специально собранным запросом на апгрейд до WebSocket заставить отправлять запросы от своего имени туда, куда укажет атакующий. Оценка по CVSS 3.1 - 8,6 (высокая), а на момент раскрытия в Shodan было около 79 000 хостов Next.js на порту по умолчанию. Исправления вышли в версиях 15.5.16 и 16.2.5.