Qwen3.8-Omni-Flash слушает звук и смотрит видео

18 сентября в линейке Qwen3.8 появилась модель, которая понимает звук. Qwen3.8-Omni-Flash принимает текст, изображения, аудио и видео и работает с контекстом в миллион токенов, говорится в анонсе Alibaba в Threads. Модель умеет вызывать функции и работать с инструментами, так что по ходу ответа она может обращаться к внешним сервисам.

Для сравнения Alibaba выбрала Gemini 3.8 Flash. По словам компании, на WildClawBench-MM и UniClawBench Omni-Flash показывает результаты, близкие к модели Google. Условия замера и конкретные баллы в этом сравнении не приводятся.

Omni-Flash - отдельная модель, а не обновление Qwen3.8-Flash, который Alibaba открыла 26 августа. Если верить документации QwenCloud, у Qwen3.8-Flash 125 миллиардов параметров, из которых на каждый токен работают только 6 миллиардов. Модель изначально рассчитана на миллион токенов контекста, понимает текст, изображения и видео, умеет вызывать функции и выдавать структурированный ответ. Получается, что длинный контекст и инструменты в семействе уже были, а с Omni-Flash к ним добавился звук.

Omni-модели у Qwen выходят отдельной линейкой: в коллекциях на Hugging Face семейство Qwen3-Omni стоит отдельно от релизов Qwen3.8. Первой в этой линейке стала Qwen2.5-Omni, вышедшая 26 марта 2025 года. Её технический отчёт описывает схему Thinker-Talker. Thinker - языковая модель, которая пишет текст. Talker берёт её скрытые представления и генерирует из них аудиотокены, а обе части обучаются и работают как единое целое. Чтобы привязать звук к кадрам видео, аудио и видео в Qwen2.5-Omni подаются вперемешку, по очереди, с позиционным кодированием TMRoPE, которое выравнивает их по времени. Используется ли та же схема в Qwen3.8-Omni-Flash, Alibaba не раскрывает.