Потоковая расшифровка Meta: 3,1% ошибочных слов

Muse Voice Transcribe, потоковая модель распознавания речи от Meta Superintelligence Labs, вышла 1 сентября. На англоязычном бенчмарке AA-WER Streaming от Artificial Analysis она ошибается в 3,1% слов. У Cartesia Ink-2 там 3,4%, у Scribe v2 Real-time от ElevenLabs 3,6%, у GPT Live Transcribe 3,9%, у Gemini 3.5 Transcribe Live 4%.

Сама Meta называет её своей первой «моделью восприятия аудио в реальном времени». Расшифровывать речь умеет и Muse Spark, но эта модель под такую задачу не заточена. Большая часть разбора The New Stack посвящена тому, как новая модель решает, в какой момент записать слово. От этого решения зависит и точность, и задержка.

Когда модель пишет слово?

Muse Voice Transcribe устроена как авторегрессионная мультимодальная модель семейства Muse Spark: выход порождается по одному токену, и каждый следующий опирается на всё, что было до него. Звук поступает кусками по 80 миллисекунд, по 12,5 куска в секунду. Каждый кусок сжимается в один «мягкий» токен: это вектор, который подаётся модели напрямую, без номера в словаре.

На каждом куске модель выбирает одно из двух. Она либо выдаёт текстовый токен, либо ставит специальный заполнитель «следующее аудио», и система подменяет его очередным куском звука. Когда звук заканчивается, приходит токен «пустое аудио». Он сообщает, что продолжения не будет, и модель выдаёт весь текст, который ещё придерживала.

Выходит, модель сама решает, сколько звука дослушать, прежде чем зафиксировать слово, а значит, сама управляет своей задержкой. В Meta это называют «адаптивной задержкой»: трудному слову достаётся больше контекста, лёгкое расшифровывается почти сразу.

Баланс между точностью и скоростью модель выучивает на этапе обучения с подкреплением. Награда за низкую долю ошибочных слов и награда за малую задержку там перемножаются, а не складываются. При перемножении провал по одной метрике тянет вниз всю награду, сколько бы ни набрала другая.

Похожим механизмом модель различает говорящих. Meta обещает, что их может быть больше 20, а разговор может длиться дольше часа. При 12,5 токена в секунду один только звук часовой беседы занимает 45 000 токенов.

Что показали бенчмарки

AA-WER Streaming меряет только английскую речь. На нём Muse Voice Transcribe опережает Cartesia Ink-2 на 0,3 пункта, а GPT Live Transcribe на 0,8 пункта: ошибочных слов у неё примерно на пятую часть меньше, чем у модели OpenAI.

С разметкой говорящих, по оценке The New Stack, все модели пока справляются хуже, чем хотелось бы большинству пользователей. Но и здесь, среди моделей для работы в реальном времени, Muse Voice Transcribe впереди: 17,5% ошибок в среднем по нескольким стандартным бенчмаркам.

Обучали модель на более чем 70 языках, из них 25 Meta называет «тщательно проверенными». Отдельно компания упоминает случаи, когда человек, говорящий на нескольких языках, переключается между ними посреди разговора. Похожий сценарий Meta уже описывала для Muse Spark: 12 мая компания сообщила, что модель ведёт голосовые разговоры в приложении Meta AI и там можно перебивать её, менять тему и переходить на другой язык. Само семейство Meta представила 8 апреля, первую Muse Spark тогда назвали «небольшой и быстрой по замыслу».

Доступ и цена

Модель уже доступна в Meta Model API, в Meta AI for Mac и в Muse Code. В API она стоит 3 доллара за 1000 минут аудио, или 18 центов за час.

Весов не будет. Представитель Meta сказал The New Stack, что открывать их компания не станет, хотя у Muse Glimmer веса открыты: в августе модель на 30 миллиардов параметров вышла под лицензией Apache 2.0.

Соревнуется Muse Voice Transcribe в тесной нише. За лето OpenAI, Google, xAI и Alibaba с разницей в несколько недель выпустили свои потоковые модели, и это помимо специализированных компаний, которые были на рынке и раньше. В The New Stack считают, что в такой конкуренции отрыв в 0,3 пункта долго не продержится.

При этом у Meta, по мнению издания, есть встроенная причина не останавливаться: каждому продукту, который для компании действительно важен, от очков до приложения для Mac, нужно, чтобы распознавание речи работало как можно лучше.