NVIDIA научила модель расшифровки речи слушаться промптов

Nemotron 3.5 Transcribe, которую NVIDIA 28 октября выложила с открытыми весами, занимает первое место среди открытых моделей в английском треке Hugging Face Open ASR Leaderboard: средняя доля ошибочных слов у неё 5,33%. Расшифровку, разметку спикеров, перевод и вопросы по записи ей задают обычной инструкцией. Если вы разбираете записанные звонки, уроки и совещания до часа длиной, все четыре задачи закрывает один чекпойнт на одной видеокарте NVIDIA. Но живой поток модель не берёт, а заявленную скорость пока даёт только сборка NIM: открытый путь через vLLM, по словам самой NVIDIA, примерно вдвое медленнее.
В посте NVIDIA на Hugging Face рамки такие: расшифровка на 40 языках, перевод для 31 из них с английского и на английский, разметка спикеров в 13 языках, до восьми голосов на запись. Веса лежат на Hugging Face и ModelScope. Внутри речевой энкодер работает в паре с гибридной языковой моделью на Mamba и трансформерах. Она собрана как смесь экспертов, поэтому из 30B параметров на каждый токен работают около 4B, а вместе с аудиоэнкодером, по карточке модели, около 4,3B.
Сама идея подсказок не новая: The News Stack вспоминает Voxtral от Mistral и Universal 3 Pro от AssemblyAI. Там же отмечают цену подхода: классические модели распознавания часто меньше миллиарда параметров. Лицензию весов издание называет OpenMDW-1.1.
Спикеров модель размечает по ходу генерации. Подсказки от Sortformer приходят в языковую модель вместе с акустическими признаками, поэтому метку каждой реплике она ставит ещё во время генерации, не полагаясь только на отдельный шаг после неё. Как утверждает NVIDIA, на лидерборде David AI по 21 языку у модели самая низкая доля ошибок разметки спикеров из 14 систем, 18,26%, при 18,38% у отдельной Nemotron 3 Diarization. В английском VoiceArena Diarization-Bench (от двух до восьми спикеров, с наложенной речью) она тоже первая из 14 систем, а пропущенных слов у неё 8,32% при медиане около 31%.
Что писать в промпте
Одна и та же запись встречи по разным инструкциям превращается в расшифровку с подписанными спикерами, в перевод на английский или в ответ на вопрос «Какие решения приняли на этой встрече?». Можно попросить дословный текст со всеми «э-э» или чистый и указать, как писать числа: «двадцать пять евро» или «€25». Есть и тайминги на уровне слов. Agora собрала на них демо, где расшифровка урока идёт рядом с его записью.
Начинать NVIDIA советует с промпта, где названы язык, письменность и формат расшифровки. В медицинском кейсе на открытом бенчмарке Eka Care (3 619 записей индийских врачей и студентов-медиков) указание в промпте английского языка и латиницы снизило долю ошибочных слов на полном наборе с 30,8% до 23,8%. Для редких терминов в промпт добавляют список возможных слов с оговоркой использовать их, только когда они действительно звучат; в примере NVIDIA это HbA1c и metformin. Поддержка языков различается по задачам (матрица есть в карточке модели), а вопросы по аудио обучены только на английском. Имена, смены спикеров и ответы NVIDIA сама советует сверять с записью.
Если ошибок в терминах всё равно много, следующий шаг - дообучение в NeMo Speech на парах из речи и нужного письменного вида. Для того же бенчмарка NVIDIA собрала около 153 часов синтетической речи, 29 часов английского с акцентом из Common Voice и 63 часа медицинских записей из MultiMed. На полном наборе ошибок стало 11,8%, примерно на 62% меньше, чем у модели из коробки. Однако в полный набор входят и 855 записей, использованных при настройке. На отложенных спикерах, как приводит The News Stack, ошибки снизились с 22,44% при лучшем промпте до 12,17%, отсюда и 45,8%.
Данные для дообучения можно брать из Granary v2: NVIDIA выложила манифесты на 463 062 часа в 48 языках и сам конвейер очистки на NeMo Curator, который можно прогнать по своим записям. Мы пересчитали таблицу из карточки датасета: 82,2% этих часов приходится на VoxPopuli с псевдоразметкой MOSEL, а 24 языка из 48 представлены только FLEURS и/или Common Voice 26, у которых на все языки вместе 4 283 часа. Само аудио скачивается отдельно, по лицензии каждого исходного корпуса.
На чём запускать
Официальных путей два: сервер на vLLM или локальный запуск в NeMo-Speech.cpp, на одной видеокарте NVIDIA от Jetson AGX Thor и DGX Spark до GPU Blackwell в дата-центре. Мы просмотрели репозиторий NeMo-Speech.cpp по состоянию на 30 октября, не запуская его. Код для этой модели там уже есть, готового GGUF нет: нужно скачать BF16-чекпойнт на 67,5 ГБ и самим сконвертировать его в NVFP4 для Blackwell или в IQ4_NL для остальных GPU, CPU и Vulkan.
Настройки по умолчанию рассчитаны на GPU с 32 ГБ памяти. Профиль на 24 ГБ с декодером IQ4_NL ограничивает запись 29 минутами, а на CPU и Vulkan модель идёт без спекулятивного декодирования (по документации, не по замеру). Подсказки фразами через speech_contexts и поле prompt в HTTP-запросе там не поддерживаются, разметка спикеров и перевод работают.
Цифра скорости в анонсе - 100 часов аудио меньше чем за три минуты на одной RTX PRO 6000 Blackwell Server Edition в NVFP4, на 30-секундных клипах при высокой параллельности. По карточке модели, результат получен на оптимизированном vLLM внутри Nemotron Transcribe NIM с NVFP4 и спекулятивным декодированием DFlash2, и в открытый релиз эти оптимизации пока не вошли. Интеграция с vLLM, вышедшая в NeMo Speech в день релиза, предназначена для разработки и, как ожидает NVIDIA, будет примерно вдвое медленнее. Квантованную NVFP4-версию в блоге называют готовящейся.
Для живого потока Transcribe не предназначена. В каталоге ASR-моделей NeMo под эту задачу стоит другая модель семейства, Nemotron-3.5-ASR-Streaming, с пометкой «потоковое распознавание в реальном времени, 40 языков».
Авторский разбор
Что мы проверили
1 ноября мы сверили заявленные места с живыми таблицами Open ASR Leaderboard (версия от 30 октября) и со страницей Artificial Analysis, а заодно открыли карточку модели.
Первое место среди открытых моделей в английском треке подтвердилось, хотя запас над следующей открытой моделью всего 0,07 процентного пункта. На длинных записях Nemotron 3.5 Transcribe в живой таблице уже не лучшая из открытых. NVIDIA пишет, что на Artificial Analysis модель делит первое место с 2,8%, но сама Artificial Analysis ставит первой Voxtral Small (2,77% без округления). The News Stack приводит для Nemotron 2,81%; этого значения в данных страницы мы не нашли, а единственный эндпоинт Nemotron там, у DeepInfra, набирает 3,4%.
| Трек | Заявление NVIDIA | Таблица 1 ноября |
|---|---|---|
| Open ASR, английский | 5,33%, первая среди открытых | 5,33%, 9-я из 63; все выше - API-модели; следующая открытая Qwen3-ASR-1.7B, 5,40% |
| Open ASR, многоязычный | 4,62%, лучшая в сравнении из карточки | 4,69%, 5-я; выше четыре API-модели; следующая открытая Qwen3-ASR-1.7B, 6,56% |
| Open ASR, длинные записи | 10,98%, лучшая в сравнении из карточки | 10,52%, 4-я; выше открытая freetranscribe/parakeet-ft-v1, 9,81% |
Средние 5,33% в английском треке считаются по 11 наборам с равным весом, два из них закрытые и хранятся у мейнтейнеров; по девяти публичным выходит 4,70%. Хуже всего модель справляется с закрытым набором разговорной речи (12,73%) и с URGENT24 (10,94%).
На длинных записях её обходит freetranscribe/parakeet-ft-v1, дообученный вариант nvidia/parakeet-tdt-0.6b-v3 под CC-BY-4.0, который попал в таблицу в версии от 26 октября.
Дальше
Невыпущенный Claude написал root-эксплойт для ядра Linux
По словам Anthropic, сервер с multipath TCP можно взять под root без логина, и эксплойт под эту дыру в ядре Linux написала невыпущенная модель Claude. Debian закрыла её 16 октября, у Ubuntu и Red Hat, по данным Golem, патча на тот момент не было. Патчи ядра на ваших серверах ставятся автоматически или вручную?
Читайте также
- Nemotron 3.5 Super VL сильна в терминале, слабее в коде
- Роутер Nvidia урезал стоимость задачи примерно втрое
- WSJ: совет Nvidia готовит отставку Дженсена Хуанга
- Веса Kimi K3.1 Pro открыты: 104 млрд активных параметров из 2,8 трлн
- Hy4 от Tencent получил зрение по цене превью, веса позже
- Открытой FLUX 3 Image Klein в пике нужно 31 ГБ видеопамяти
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

