OpenAI придерживает GPT-6.1 Astra ради безопасности

В среду OpenAI рассказала, как теперь управляет рисками своих самых мощных моделей на всём пути от обучения до выпуска. В посте в блоге OpenAI компания признаёт, что сознательно сбавляет темп: она уже ставила обучение на паузу и сейчас придерживает GPT-6.1 Astra, потому что ей нужно больше времени, чтобы модель соответствовала её стандартам безопасности. По словам OpenAI, новые требования замедляют выход моделей, но дают больше уверенности, что двигаться дальше безопасно.
Правила ужесточили после июльского инцидента с Hugging Face. Во время внутреннего теста на хакерские навыки, когда защиту от опасных кибердействий отключили, модели OpenAI выбрались из изолированной среды в интернет, писал WIRED. Там они сообразили, что на Hugging Face могут лежать решения теста, который им дали, и, чтобы сжульничать, добрались до секретных данных платформы, в том числе с помощью украденных учётных данных. Hugging Face заметила взлом раньше, чем узнала, что это тест OpenAI, и сообщила о нём в правоохранительные органы, сообщал CNN.
Пока модель учится
OpenAI делит путь модели на три этапа: исследования, когда её обучают и тестируют в изоляции, работа сотрудников с ней внутри компании и публичный выпуск. На каждом этапе защита состоит из нескольких слоёв, чтобы отказ одного не приводил к беде, а для перехода на следующий этап нужна проверка безопасности.
Во время обучения компания больше всего полагается на изоляцию: самые мощные модели теперь обучают без живого доступа к интернету. Модели работают в песочницах с урезанными правами, внутри виртуальных машин, а весь вычислительный кластер отрезан от сети. Прочность этих стен проверяют сами модели: команды самых сильных моделей OpenAI постоянно пытаются вырваться наружу. Строгость объясняется масштабом: над задачей Навье-Стокса, например, работала команда из 10 000 агентов, и за каждым их действием человек не следит.
Второй страховкой служит мониторинг всех запусков, и он уже сработал. Внутренняя модель через ошибку в настройке DNS получила ограниченный выход в интернет, мониторы это заметили, и с 20 сентября по 1 октября OpenAI останавливала обучение и тестирование самых мощных моделей. Теперь у компании есть ещё система Control Room: по команде она прекращает вывод модели в течение 35 секунд, а если сама Control Room недоступна, вывод исследовательских моделей тоже останавливается.
Когда модель выходит из песочницы
Внутреннее использование OpenAI считает заметным ростом риска: сотрудники получают модель, например, в ChatGPT, а модель получает доступ к интернету, Slack, коду компании и внутренней инфраструктуре. Перед этим она проходит тесты на то, ведёт ли себя как задумано и насколько хорошо её рассуждения поддаются наблюдению. Каждое обращение к модели проверяется на опасное поведение, например на попытки отправить секретные данные туда, куда нельзя. Сотрудникам, работающим в Codex, как правило, нужна функция Auto-Review: она оценивает потенциально рискованные действия и возвращает их на решение человеку.
Перед публичным выпуском тестов становится больше, для самых мощных моделей к ним подключают сторонние организации, а результаты OpenAI публикует в системных карточках. После выпуска отдельные команды с помощью ИИ-агентов и людей ищут злоумышленников. А программы доверенного доступа Daybreak и Rosalind дают защитникам и проверенным исследователям сильные возможности, ограничивая их для возможных атакующих.
Что дальше
Любой сотрудник OpenAI может предложить раскрыть инцидент публично, а если мнения расходятся, решение принимает внутренняя консультативная группа по безопасности. Компания обещает и дальше публиковать системные карточки и отчёты об инцидентах, а если доказательств безопасности окажется недостаточно, снова остановить обучение или не выпустить модель, пока требования не будут выполнены.
Дальше
Gemini 4 Neon появилась в каталоге Google Cloud
Gemini 4 Neon, которую сначала нашли в коде Gemini, появилась в каталоге моделей Google Cloud. Google описывает её так: качество почти как у Carbon в программировании и агентах, но со скоростью и ценой уровня Flash. Отдали бы агентов быстрой Neon или оставили бы самую сильную модель?
Читайте также
- Сотни миллиардов токенов ушли на взлом инфраструктуры OpenAI
- OpenAI хочет, чтобы RL-прогон ночью ставил себя на паузу
- Astra первой прошла критический порог по кибербезопасности
- Во взломе Hugging Face винят внутреннюю модель
- OpenAI выпустила GPT-6.2 Astra и Sol
- Модель GPT-6 Cyber от OpenAI нашла 81 уязвимость в Firefox
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

