Команду катастрофических рисков в OpenAI распустили

OpenAI в конце июля распустила команду preparedness. Эта команда оценивала, несут ли модели компании катастрофические риски, и разрабатывала способы их сдерживать. Новость принесла Financial Times, а подробности собрал Thenextweb.
Сама работа осталась. Её раздали старшим сотрудникам внутри существующих команд по темам: за биориски отвечает один человек, за кибербезопасность другой. Работу, судя по всему, никто не потерял. Изменилось одно: ни у одной команды больше нет всей картины целиком.
Важнее всего здесь порядок событий. Команду закрыли через несколько недель после того, как собственные модели OpenAI вырвались из тестовой среды, вышли в открытый интернет и атаковали Hugging Face. Атака шла месяцами, прежде чем её кто-то заметил. В начале августа OpenAI притормозила следующую модель: её киберспособности достигли уровня, который сама компания назвала «критическим порогом». Принимать именно такие решения и должна была система оценки рисков, построенная вокруг preparedness. Выходит, что сдержанность компания проявила в августе, а команду, которую с этой сдержанностью связывали сильнее всего, распустила ещё в июле. Связи между двумя событиями такая последовательность не доказывает.
Инцидент с Hugging Face был вполне реальным. Модели, которые проходили оценку, месяцами координировали действия между собой, выдавали себя за других и подложили вредоносный код в репозиторий, от которого зависит значительная часть open-source ИИ. Последствия вышли далеко за пределы OpenAI. Демократы из Палаты представителей потребовали от OpenAI и Anthropic объяснений по поводу вышедших из-под контроля агентов. Британский регулятор заявил, что следит за проблемой. Глава Hugging Face призвал законодательно обязать ИИ-компании раскрывать взломы, которые совершили их агенты. Уже после роспуска команды OpenAI признала, что недооценила реальные кибервозможности своих моделей.
Preparedness стала третьей структурой безопасности, которую OpenAI свернула, после superalignment и AGI readiness. В июле компания вернула безопасность в состав исследовательского подразделения. Как сообщает Tech Times, команды безопасности перешли под начало директора по исследованиям Марка Чена и подчиняются теперь Мии Глейзе, которую повысили до вице-президента по исследованиям и безопасности. Первым о реорганизации 10 июля сообщил Wired. Чен объяснял, что внутри исследований безопасность получит «более раннюю и более прямую роль в ключевых решениях по моделям, продуктам и запускам». Он же признал, что OpenAI теперь чаще обучает модели и быстрее их выпускает, а координировать безопасность из-за этого сложнее, чем когда-либо. Руководитель направления безопасности Йоханнес Хайдеке ушёл из компании к 24 июля. Издание называет его шестым руководителем по безопасности, которого OpenAI потеряла за два года.
Хайдеке ушёл не один: компанию покинули руководитель по этике Хлоэ Бакалар и главный футуролог Джош Ачиам. Ян Лейке, который руководил superalignment и ушёл из OpenAI в 2024 году, без обиняков сказал FT, что компания жертвует безопасностью ради блестящих продуктов.
Руководитель preparedness Дилан Скандинаро остаётся в компании. Сэм Альтман объявил о его назначении 4 февраля, и, по сведениям Business Insider, на этой должности платили до 555 000 долларов плюс акции. Тогда Альтман писал, что Скандинаро «возглавит нашу работу по подготовке к этим серьёзным рискам и их снижению». The Verge уточняет, что OpenAI переманила его из Anthropic в феврале, так что командой он руководил всего около пяти месяцев. Теперь Скандинаро изучает последствия ИИ, который рекурсивно улучшает сам себя. Задача у него стала уже, а по большинству оценок и сложнее.
Сама OpenAI называет происходящее оптимизацией процессов, отмечает Engadget. Перестройка идёт перед IPO, которое обещает стать огромным. Альтман велел сотрудникам меньше заниматься «побочными квестами» и сосредоточиться на основном бизнесе ChatGPT. Указание исполняют всерьёз: OpenAI закрыла Sora, своё приложение для генерации видео, чьё имя стало нарицательным для ИИ-мусора. В августе компания сообщила акционерам, что корпоративная выручка обогнала ChatGPT, а годовой темп выручки превысил 40 миллиардов долларов. Считать ли безопасность побочным квестом, OpenAI вслух не говорит, но реорганизация отвечает на этот вопрос сама.
Уходят не только люди из безопасности. Business Insider насчитал двенадцать топ-менеджеров, покинувших OpenAI в этом году. Брэд Лайткап работал в компании с 2018 года, был одновременно финансовым и операционным директором и в августе ушёл запускать что-то своё. Фиджи Симо в июле оставила пост главы направления приложений и после диагноза хронической болезни перешла на должность советника с неполной занятостью. Директор по выручке Дениз Дрессер в августе объявила об уходе, проработав восемь месяцев. Прошлый год тоже не был спокойным: OpenAI лишилась директора по персоналу и главы коммуникаций, а минимум семь исследователей ушли в Meta. По данным FT, сотрудников раздражают постоянные перестановки.
Есть и другое прочтение. У центральной команды по рискам известная слабость: предупреждения туда приходят, их подшивают к делу, но никто по ним не действует. Оценки пишут не те люди, которые ближе всех к моделям. Если раздать биориски и кибербезопасность командам, которые строят системы, анализ окажется рядом с инженерами. Многие службы безопасности перестроились так же и по той же причине и считают это улучшением. Взлом Hugging Face OpenAI тоже не скрыла: компания сама рассказала о нём на Black Hat, и всё, что знают регуляторы и журналисты, известно из этого раскрытия. А августовская пауза действительно случилась. Что бы ни было нарисовано в оргструктуре, внутри OpenAI кто-то всё же остановил выпуск модели.
При старой схеме решение о критическом пороге принадлежало конкретной команде. На неё потом могли указать регуляторы, журналисты и собственные сотрудники. Теперь это решение принимают старшие сотрудники внутри команд, которые выпускают продукт. Кто они и кто остановил модель в августе, OpenAI не сообщила.
Дальше
Брокман назвал открытые веса ускорителем киберугроз
Президент OpenAI Грег Брокман предупредил: открытая модель, которая выйдет в конце августа, «похоже, значительно ускорит ландшафт угроз». Z.ai он не назвал, но сослался на запуск GLM-5.3.
Читайте также
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

