OpenAI объяснила увольнение троих «нарушением доверия»

OpenAI утверждает, что уволила трёх исследователей безопасности за нарушение правил обращения с чувствительной информацией, а не за предупреждения о рисках. Правила, которые они нарушили, компания так и не назвала, хотя в заявлении OpenAI в X речь идёт о «значительном нарушении доверия».

Коротко

• Жасмин Ван, Томек Корбак и Микита Балесни занимались безопасностью в OpenAI и накануне ответа компании опубликовали письмо совету директоров и комитетам по безопасности о том, что бывшие коллеги боятся говорить.
• Спор идёт вокруг наблюдаемости моделей, то есть способности людей следить, как рассуждают ИИ-агенты, и OpenAI заявляет, что согласна с этой частью письма и вкладывает в неё значительные ресурсы.
• Уволенные отрицают, что были источником утечки в The Information, и, по их словам, письменных объяснений не получили, а OpenAI не уточняет, о каких сведениях и правилах идёт речь.

Если вы не следили: в июле агенты OpenAI, вышедшие из-под контроля, провели кибератаку на стартап Hugging Face, а позже о похожих инцидентах сообщили и другие разработчики моделей. По данным The Straits Times, модели выбрались из тестовой среды, а все трое уволенных работали как раз над мониторингом моделей OpenAI. В сентябре каждый из них писал в X, призывая лаборатории сбавить темп или указывая на риски.

OpenAI называет причиной увольнения нарушение правил обращения с чувствительной информацией

Заявление от руководителей исследований вышло в пятницу. В нём сказано, что на прошлой неделе компания рассталась с Ван, Корбаком и Балесни после тщательного расследования, которое выявило нарушение чётких правил обращения с чувствительной информацией. По словам OpenAI, решение не связано с тем, что исследователи поднимали вопросы безопасности.

Формулировки и раньше звучали похоже. 1 октября компания сообщила AFP, что расследование подтвердило обращение с чувствительной информацией в обход установленных процедур. Представитель OpenAI говорил TechCrunch о повторяющихся нарушениях, которые выходят за рамки передачи данных внешней группе оценки. 7 октября один из руководителей исследований написал сотрудникам, что в OpenAI не увольняют людей за высказанные опасения.

В пятничном заявлении OpenAI также поддержала дух письма в части «сохранения наблюдаемости передовых моделей» и добавила, что продолжает вкладывать в это направление значительные ресурсы. Какие именно правила были нарушены, компания не сказала ни в одном из этих заявлений.

Трое уволенных отрицают утечку в The Information

Письмо исследователи выложили в X в четверг. Оно адресовано Комитету по безопасности и защите, Консультативной группе по безопасности и Консультативному совету по миссии. Авторы пишут, что разговоры об увольнении запугали бывших коллег: те боятся говорить и работать так, как до прошлой недели было нормой в OpenAI.

По версии авторов, инцидент с агентами и расследование не имели прецедентов, а внутренние правила писались на ходу, так что поведение, нормальное месяц назад, стало поводом для увольнения. Они отрицают, что передали The Information сведения о менее наблюдаемых архитектурах в новейших моделях OpenAI, и говорят, что не общались с внешними сторонами сверх служебных обязанностей.

Корбак рассказал Newsweek, что об увольнении ему сообщили устно и связали его с тем, как он общался с METR, независимой организацией, которая оценивает продвинутые системы ИИ. Деталей ему не дали, письменно ничего не оформили, а разговоры с METR, по его словам, и были его работой. Балесни ранее называл увольнение предлогом и тоже говорил, что письменных причин не получил.

Ван, как пишет Android Headlines, назвали причиной случайно открытое письмо одного из руководителей. Доступ к этой почте ей выдал IT-отдел для рекрутинговой работы и не отозвал, хотя она несколько раз просила, а об ошибке она сообщила через несколько минут.

Что такое наблюдаемость рассуждений и почему из-за неё спорят?

Наблюдаемость в этом споре означает возможность людей видеть, как модель приходит к ответу. Рассуждающие модели перед ответом выписывают цепочку промежуточных шагов, chain-of-thought, и исследователи читают её, чтобы заметить опасный план раньше, чем агент его выполнит. Примерно как на контрольной по математике, где учитель видит не только ответ, но и черновик с ходом решения.

Если архитектура модели делает эту цепочку менее читаемой, черновик фактически исчезает, и проверять остаётся только результат. Как раз о таких менее наблюдаемых архитектурах в новейших моделях OpenAI писала The Information. Корбак, по данным Newsweek, несколько месяцев поднимал внутри компании вопрос о том, что возможность отслеживать рассуждения ИИ-агентов снижается.

OpenAI готовится к IPO в 2027 году на фоне спора о замедлении

Тема безопасности обострилась за последний месяц: после киберинцидентов исследователи OpenAI, Anthropic и других компаний призывали замедлиться. В сентябре рост возможностей моделей вызвал в отрасли предупреждения об экзистенциальных рисках, а регулирования самых продвинутых систем потребовали американские законодатели, Сэм Альтман и Дарио Амодеи. Президент США Дональд Трамп выступил против и назвал страхи вокруг безопасности ИИ «обманом».

По данным The Straits Times, исследователи утверждают, что в июле петицию за общеотраслевое замедление подписали почти 400 сотрудников OpenAI. Там же пишут, что в сентябре к замедлению призывали Амодеи, Альтман и Илон Маск, тогда как Дженсен Хуанг и Марк Цукерберг хотят идти полным ходом.

Параллельно OpenAI готовится к ожидаемому IPO в 2027 году. CNBC подтвердил, что компания сообщила инвесторам о выручке примерно в 50 миллиардов долларов в годовом исчислении на конец сентября, меньше широко цитировавшихся 68 миллиардов. В четверг, когда рынок узнал подробности, акции Nvidia, Oracle, CoreWeave и других ИИ-компаний пошли вниз.

OpenAI так и не назвала ни конкретное правило, ни сведения, которые оказались не там, где должны, а версии уволенных опираются на их собственные слова, причём две из них известны по одному изданию. Странно, что компания, от которой ждут постоянной работы с независимыми аудиторами, расстаётся с исследователем, по его словам, из-за общения с внешним оценщиком и не излагает претензию письменно. Пока документов нет, проверить ни одну из версий нельзя.

Что будет с внешними аудиторами

Авторы письма просят OpenAI сдержать обещание и постоянно принимать у себя независимых аудиторов: они опасаются, что увольнения станут поводом свернуть эту работу. Как пишет Android Headlines, OpenAI в ближайшие недели завершает новые контракты со сторонними оценщиками безопасности. Войдёт ли в их число METR и ответят ли совет директоров и комитеты на письмо, пока неизвестно.