Голосовой API умеет слушать и говорить одновременно

GPT-Live-1 несколько раз в секунду решает, что делать дальше: говорить, слушать, замолчать, вставить короткое «мхм» или запустить в фоне инструмент. 10 сентября OpenAI открыла эту модель в API, и теперь её можно встроить в собственный голосовой продукт.

Модель работает в полнодуплексном режиме: звук на входе и на выходе идёт непрерывно, без чередования ходов, поэтому она слышит собеседника прямо во время своей реплики. Для API OpenAI называет ещё три вещи: более точное следование инструкциям, собственные голоса и поддержку телефонии. Перебивания разбирает одна модель, которая рассуждает над входящим и исходящим звуком вместе. Рассуждения и вызовы инструментов GPT-Live-1 отдаёт бэкенд-системам, а разговор в это время продолжается.

До этого голос в продуктах OpenAI менялся так:

• 2023: первый голос ChatGPT собирали из трёх моделей подряд: Whisper переводил речь в текст, GPT-4 писал ответ, движок синтеза речи его озвучивал. Каждый этап ждал предыдущего, а интонация, темп и эмоции по дороге терялись.
• 2024: Advanced Voice Mode. Одна модель принимала и выдавала звук без промежуточного текста и сохраняла интонацию, но разговор по-прежнему шёл по очереди.
• 8 июля 2026: GPT-Live пришёл в ChatGPT. GPT-Live-1 стал голосом по умолчанию для подписчиков Go, Plus и Pro, GPT-Live-1 mini достался бесплатным пользователям, Advanced Voice Mode ушёл.
• 31 июля: в аудио GPT-Live добавили водяные знаки SynthID.
• 10 сентября: модель открыли в API.

Главная разница с 2024 годом в том, как модель понимает, что пора отвечать. Advanced Voice Mode ждал, пока пользователь договорит, и считал паузу концом реплики, так что задумчивое молчание или фоновый шум приводили то к лишнему перебиванию, то к неловкой тишине. В GPT-Live из аудиотракта убрали детектор реплик, который раньше угадывал момент передачи хода: решение принимает сама модель, и принимает его постоянно.

Сложные рассуждения GPT-Live сам не ведёт. В ChatGPT поиск в интернете, глубокие рассуждения и многошаговый анализ уходят к GPT-5.5, который работает в фоне, пока голосовая модель продолжает разговор. В API та же схема описана шире: задачу получают бэкенд-системы, и для разработчика это, судя по всему, означает, что тяжёлую часть можно отдать своей модели или своему сервису.

Как пишет Tech Times, в ChatGPT GPT-Live заменил Advanced Voice Mode для более чем 150 миллионов человек, которые каждую неделю пользуются голосом и диктовкой. До разработчиков модель дошла только через два месяца после этого запуска, и телефония в списке возможностей API говорит о том, что OpenAI ждёт её в колл-центрах и голосовых ассистентах на обычных звонках.

У прежнего пути в API статус уже понятен. Страница GPT-4o Realtime preview, которая отвечала на аудио и текст в реальном времени через WebRTC или WebSocket, в документации OpenAI помечена как Deprecated, а рядом с эндпоинтом v1/realtime на ней указан v1/live/sessions.