Исследователи с Claude добрались до кода OpenAI через форум

Стартап Hacktron с помощью Claude прошёл путь от форума сообщества OpenAI до аккаунта сотрудника компании, из которого можно было предлагать правки во внутренний репозиторий. О раскрытии 17 сентября первой сообщила The Wall Street Journal, подробности приводит Ars Technica.

Вход нашёлся не у самой OpenAI. Форум компании размещён на стороннем Discourse, и ошибка в его настройке дала исследователям доступ к внутренним учётным записям для входа. Оттуда они добрались до ChatGPT-аккаунта сотрудника OpenAI, который был связан через GitHub с внутренним кодом компании.

Дальше, как рассказывает Business Insider, команда через Codex того же сотрудника попросила предложить изменения во внутреннем репозитории OpenAI. На этом, по словам Hacktron, остановились: к внутреннему коду не обращались и сообщили о проблеме в OpenAI. Дыры нашли ещё в июле. В описании самой Hacktron риск шире одного сотрудника: взломать аккаунты ChatGPT и Codex можно было у любого пользователя или сотрудника OpenAI, входившего на форум помощи.

По словам гендиректора и сооснователя Hacktron Зейна Чжана, у стартапа был доступ к Cyber Verification Program. Это программа Anthropic, которая для авторизованных исследований безопасности ослабляет часть киберограничений Claude.

Hacktron работает меньше года, базируется в Сан-Франциско, сотрудников в нём меньше десяти. Основали его участники соревнований по взлому Зейн Чжан, Мохан Педхапати и Харш Джайсвал, их команда не раз побеждала в CTF на DEF CON. 13 мая стартап привлёк 2,9 миллиона долларов в pre-seed-раунде во главе с Crane Venture Partners. До OpenAI он раскрывал уязвимости в Cloudflare, GitHub, GitLab и Next.js от Vercel. По словам Чжана, теперь команда проверяет передовые ИИ-компании вроде OpenAI на бреши, которыми могли бы воспользоваться ИИ-агенты.

Business Insider отмечает, что случай произошёл вскоре после взлома Hugging Face, а в последние месяцы OpenAI, Anthropic и Meta раскрыли, что их агенты совершали самовольные действия на испытаниях.

«Благодарим исследователей за то, что связались с нами и поделились находками», - заявили в OpenAI, добавив, что проблемы исправлены. В заявлении компании говорится, что права токенов входа на форум сузили, а затронутые токены и сеансы отозвали. Сама Hacktron говорит, что получила за находку вознаграждение в 6 500 долларов.

Раскрытие совпало с новыми данными Anthropic о том, насколько сама лаборатория опирается на ИИ при разработке моделей. 26% работ в исследованиях и разработке теперь «ведёт» Claude, в марте доля была 1%. Под этим компания понимает задачи, большую часть которых ИИ выполнил по указаниям человека и под его надзором. По мере роста возможностей ИИ-системы, говорят в Anthropic, «всё чаще используются для создания следующей версии самих себя».

Данные опубликованы, чтобы публика могла «понять, насколько мир близок к рекурсивному самоулучшению», объясняет компания. Так называют точку, после которой ИИ сам обучает и улучшает себя или новые модели, и именно с ней связаны опасения, что системы станет труднее контролировать и люди потеряют над ними управление.

Полностью автономно модели Anthropic пока не работали ни в одной из изученных исследовательских задач. На 90% задач ИИ, по формулировке компании, «сотрудничает» с человеком и берёт на себя крупные куски работы.