OpenAI гасит исследовательские задачи моделей за 35 секунд

OpenAI поставила центральный стоп-кран на все исследовательские задачи со своими моделями. Система Control Room, описанная в посте OpenAI 9 ноября, обрывает вывод модели не позже чем через 35 секунд после решения остановить задачу. Тем, кто работает с моделями OpenAI через API, она напрямую ничего не меняет: Control Room развёрнута на исследовательской инфраструктуре, а внешний сервинг, по словам компании, и так устроен централизованно и умеет быстро снимать развёртывания.

Для самой OpenAI разница заметна. Во время сентябрьского обхода через DNS мониторинг заметил нарушение за 15 минут, но запуск остановили только ещё через 2,5 часа: автоматически он не завершился. Теперь система мониторинга может сама решить прервать задачу, и от этого решения до отказа в следующем запросе проходит уже не больше 35 секунд.

Как работает остановка

Control Room связывает три части: задачу (эксперимент с обучением с подкреплением, оценку, массовую генерацию, обработку данных), движок инференса, который крутит модель на GPU, и центральный сервис. Каждая исследовательская задача с агентным инференсом должна быть привязана к одобренному safety case. Одна задача может обращаться к нескольким моделям на разных движках, а один движок обслуживает разные задачи.

При запуске задача получает у Control Room свой job_id и передаёт его в каждом запросе к движку. Движок, прежде чем выдать токены, спрашивает у сервиса разрешения с этим же job_id. Если задача помечена как остановленная, сервис отказывает, и движок возвращает задаче отказ вместо ответа.

Все фронтирные запуски обучения с подкреплением идут под монитором - отдельной моделью, которая смотрит на всё, что делает обучаемая модель, и поднимает тревогу при проблеме. В зависимости от деталей и серьёзности система мониторинга может решить остановить задачу: она шлёт в Control Room job_id, сервис записывает задачу как завершённую, и следующий её запрос к любой модели на любом движке получает отказ.

Сами 35 секунд - верхняя граница, и набегает она из-за слоя кэширования разрешений на инференс, который нужен, чтобы выдерживать объём трафика. OpenAI говорит, что работает над тем, чтобы довести эту задержку до нуля.

Почему проверка живёт в движке

Код задач пишут и меняют сами исследователи, поэтому OpenAI не стала строить на нём защиту и рассчитывает, что система переживёт кривой или сломанный код задачи. Проверка сидит в слое инференса: путей кода инференса во всей исследовательской части OpenAI очень мало, и их развёртывания централизованы и однотипны. Это даёт компании узкое горлышко, через которое проходит каждый запрос к модели. Дополнительно OpenAI постоянно гоняет агентные и программные проверки, которые ищут движки, запущенные с отключённым или невстроенным Control Room, случайно или злонамеренно.

На случай отказа самого сервиса движки настроены «закрываться» (fail closed): если Control Room упадёт из-за ошибки или его отключат по любой другой причине, включая вмешательство злоумышленника, все запросы к моделям отклоняются, пока сервис не вернётся в строй. Этот режим уже включён для всех исследовательских задач с фронтирными моделями, а на остальные исследовательские задачи его раскатят в ближайшие несколько дней.