OpenAI внедрила метод симуляции развертывания для оценки рисков

OpenAI представила Deployment Simulation, способ тестирования моделей перед выпуском. Инженеры берут реальные диалоги из продакшена, удаляют ответы предыдущей модели и заменяют их на генерацию от кандидата. Это позволяет оценить поведение системы в реалистичных условиях без участия живых пользователей.
Метод помогает решить проблему осведомленности модели о тестировании. В отличие от синтетических бенчмарков, где нейросети часто понимают, что их проверяют, симуляция на основе реальных логов выглядит для модели как обычный рабочий процесс. Это снижает вероятность искажения ответов.
Технология помогла обнаружить редкие ошибки, включая calculator hacking. OpenAI отмечает, что метод не заменяет ред-тиминг, но дополняет его количественными данными о частоте нежелательного поведения.
Дальше
Вышла открытая модель GLM-5.2
Модель GLM-5.2 получила контекст на 1 миллион токенов и два режима рассуждения. Она набрала 46.2% в бенчмарке DeepSWE, что является лучшим результатом среди открытых моделей.
Читайте также
- OpenAI пустила четыре лаборатории внутрь своих моделей
- Джейлбрейки для кибератак получили шкалу опасности от FMF
- OpenAI гасит исследовательские задачи моделей за 35 секунд
- OpenAI нашла 948 путей к root в ядре Linux
- Мониторы OpenAI в повторе сработали за 30 часов до взлома
- METR нашла способы отключить надзор за агентами OpenAI
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

