NVIDIA научила модель расшифровки речи слушаться промптов

Nemotron 3.5 Transcribe, открытая модель NVIDIA для расшифровки речи, стала первой среди открытых моделей в английском треке Hugging Face Open ASR Leaderboard со средней долей ошибочных слов (WER) 5,33%, говорится в посте NVIDIA от 28 октября; модель сделана под записанное аудио, и живой поток она не обрабатывает. Тем, кто расшифровывает записи со специальной лексикой, NVIDIA предлагает начинать с промпта, где указаны язык, алфавит и список терминов, и только потом дообучать. В медицинском кейсе компании промпт с названным языком и алфавитом снизил WER с 30,8 до 23,8%, а дообучение довело его до 11,8%.

Веса лежат на Hugging Face и ModelScope, лицензию The News Stack называет OpenMDW-1.1. В одном чекпойнте собраны расшифровка на 40 языках, перевод для 31 из них с английского и на английский, разметка спикеров на 13 языках (до восьми голосов) и ответы на вопросы по аудио, которым модель учили только на английском. Записи принимаются длиной до часа, есть пословные таймкоды. Задачу ставят обычной инструкцией: «Расшифруй запись и подпиши каждого спикера», «Переведи это аудио на английский», «Какие решения приняли на встрече?». Запускать модель предлагают через vLLM или локально в NeMo-Speech.cpp, на одном GPU NVIDIA, от Jetson AGX Thor и DGX Spark до Blackwell в дата-центре.

Сначала промпт, потом дообучение

В медицинском примере NVIDIA промпт просит расшифровать обсуждение на языке оригинала, перечисляет возможные термины (HbA1c, metformin), разрешает подставлять их только тогда, когда они действительно звучат в записи, и требует принятого медицинского написания и чисел в обычной письменной форме. Готовые пресеты, полное руководство по промптам и таблица поддержки по задачам и языкам лежат в карточке модели: набор языков у каждой задачи свой. Имена, смены спикеров и ответы на вопросы NVIDIA сама советует сверять с записью.

Кейс собран на открытом бенчмарке Eka Care: 3 619 записей индийских врачей и студентов-медиков, отдельной обучающей части в нём нет. Когда в промпте прямо назвали английский язык и латиницу, WER на полном наборе упал с 30,8 до 23,8%. После дообучения он составил 11,8%, примерно на 62% меньше ошибок, чем у модели без настройки. Но в полный набор входят и 855 клипов, на которых шла настройка. На спикерах, которых в настройке не было, дообучение сократило WER на 45,8% относительно лучшего промпта. Сами цифры для этого случая приводит The News Stack со ссылкой на NVIDIA: 22,44% с лучшим промптом и 12,17% после дообучения.

Данные для адаптации в кейсе собрали из сгенерированных медицинских текстов и публичных каталогов лекарств: около 153 часов синтетической речи, 29 часов английского с акцентом из Common Voice и 63 часа медицинских записей из MultiMed. Инструменты дообучения входят в NeMo Speech.

Вместе с моделью NVIDIA открыла Granary v2, набор данных и конвейер их очистки на NeMo Curator. На этом конвейере готовили многоязычную речь для обучения Transcribe. Публичный манифест покрывает 463 062 часа на 48 языках из 16 корпусов (в Granary v1 языков было 25), но эти цифры описывают релиз, а не полную обучающую смесь модели. Для каждой записи в нём есть три формы расшифровки (tn_raw, itn_raw, itn_clean), от дословной с числами прописью и словами-паразитами до чистой с цифрами: «I paid, uh, twenty-five euros» и «I paid €25». Это те же стили, которые модель выдаёт по промпту. Конвейер можно прогнать на собственных записях, а исходное аудио корпусов скачивается отдельно, по лицензии каждого корпуса.

Agora, платформа голосовой и видеосвязи в реальном времени, собрала на пословных таймкодах демо для учебных занятий: расшифровка показывается рядом с записью урока, и студент видит, что и когда было сказано.

Что стоит за 5,33%

Английский трек Open ASR считает средний WER на публичных тестовых наборах, модели с API в зачёт 5,33% не входят. В сравнении из карточки модели у неё самые низкие цифры среди оценённых открытых моделей и в многоязычном треке (4,62% в среднем по семи языкам), и на длинных записях (10,98%).

В рейтинге Artificial Analysis NVIDIA записывает модели первое место среди открытых, которое та делит с другой моделью: AA-WER 2,8% при примерно 4B активных параметров против 24B у соперницы. The News Stack называет соперницу и даёт цифры с двумя знаками: 2,81% у Nemotron против 2,77% у Voxtral Small от Mistral. Издание оговаривает, что это сравнение по активным параметрам, а не по скорости работы или памяти. Всего у модели 30B параметров, на токен работают около 4B: к речевому энкодеру подключена гибридная языковая модель на Mamba и Transformer со смесью экспертов. Традиционные модели расшифровки, замечает The News Stack, часто меньше миллиарда параметров. На AA-AgentTalk, отложенном наборе речи голосовых агентов, который составляет половину индекса AA-WER, у Transcribe 1,8% против 2,3% у следующей открытой модели.

Спикеров модель подписывает прямо во время генерации: сигналы Sortformer попадают в языковую модель вместе с акустическими признаками. На треке диаризации David AI (21 язык, 14 систем) у неё самая низкая ошибка разметки спикеров, DER 18,26%, против 18,38% у отдельной Nemotron 3 Diarization от той же NVIDIA. В английском Diarization-Bench от VoiceArena (полные сессии, 2-8 спикеров, перекрывающаяся речь) ошибки в словах считают после сопоставления меток спикеров. Там у Transcribe 32,4% cpWER против 34,2% у связки NVIDIA Multitalker Parakeet с Nemotron 3 Diarization. Пропущенных слов у неё меньше, чем у любой из 14 систем: 8,32% от эталона при медиане около 31%.

Железо и живой поток

Для живых субтитров у NVIDIA есть отдельная модель: в июне вышла Nemotron-3.5-ASR-Streaming-0.6B, тоже на 40 языков, с настраиваемой задержкой от 80 мс до 1 с и от 240 до 2 400 одновременных потоков на одном H100.

Transcribe же рассчитана на пакетную обработку записей. На одной RTX PRO 6000 Blackwell Server Edition с точностью NVFP4 она, по замеру NVIDIA, обрабатывает 100 часов аудио меньше чем за три минуты. Мерили на 30-секундных клипах при высокой параллельности.