Как Python-библиотека OpenAI доросла до миллиарда

OpenAI 11 сентября описала в инженерном блоге OpenAI, как Habitat, её слой хранения для ChatGPT, превратился из Python-библиотеки в отдельный сервис. Теперь он распределён по регионам мира, обслуживает миллиард пользователей и выдерживает 22 миллиона запросов в секунду. Миллиард активных пользователей в месяц ChatGPT набрал к июню 2026 года.

Habitat родился как клиентская библиотека: продуктовые команды получали небольшой интерфейс из объектов и связей поверх хранилища. К середине 2025 года эта модель упёрлась в потолок. OpenAI тогда переводила данные на регионально распределённые аккаунты Cosmos DB, и раскатка нового клиента по десяткам сервисов занимала дни. Ещё несколько дней уходило на shadowing, когда копию трафика гоняют через новый путь для сверки, и столько же на исправление багов. Посреди этой раскатки одна из команд по своим причинам откатилась на старую версию клиента с известной ошибкой и устроила тот самый инцидент, от которого процесс должен был защищать.

После этого Habitat вынесли в независимый сервис. Деплой, наблюдаемость и доработки теперь проходят через одну точку управления, без обновления каждого потребителя по отдельности. Заодно сервис стал удобным местом для контроля доступа: ACL, журналы аудита и ограничения доступа к хранилищу применяются централизованно, в том числе к агентам, которые обращаются к данным сами.

Схема получилась трёхслойной: клиентские сервисы, над ними Habitat, ниже ресурсы хранения вроде Azure Cosmos DB. Клиенты видят только простой API Habitat и не знают, как данные разложены внизу. Сложные запросы в онлайн-контур не пускают: для них есть офлайновое представление данных Habitat в Rockset, которое наполняется через change data capture, поток изменений из основного хранилища. Свой экземпляр держит каждая команда, так что тяжёлое чтение для аналитики и поиска не нагружает онлайн-хранилище.

Сам сервис написан на Python, и здесь всплыло главное ограничение. asyncio даёт конкурентность, но из-за GIL не даёт параллельной работы на нескольких ядрах. А Habitat занят как раз вычислениями: маршрутизацией, сжатием, шифрованием, контрольными суммами, проверками здоровья, shadowing и hedging, когда запрос дублируют, чтобы не ждать медленную реплику. В трассах медленных запросов уровня p99 и выше база отвечала быстро, а корутина зависала в ожидании, пока её снова поставят в очередь на выполнение.

Чтобы это поймать, в OpenAI измеряли задержку цикла событий фоновой задачей, которая запускалась через равные промежутки времени.