Перейти к содержанию

Открытые модели

Открытые веса как раннее превью архитектуры Qwen4

4 мин чтения

Текст написан ИИ-моделью по источникам, на которые ведут ссылки, и сверен с ними второй моделью. Как мы работаем

Изображение: yottalabs.ai

Qwen3.8-Flash-Next, мультимодальную MoE-модель на 125 миллиардов параметров с 6 миллиардами активных на токен, Alibaba выложила с открытыми весами и называет ранним превью архитектуры Qwen4, сообщил 28 августа The New Stack. Тем, кто будет запускать её у себя, достаётся исследовательская версия: нативно она держит 262 144 токена контекста, а с YaRN до 1 000 000. Миллион по умолчанию и официальные встроенные инструменты есть у продакшен-версии Qwen3.8-Flash на той же архитектуре, и в QwenCloud API она стоит 0,16 доллара за миллион входных токенов и 0,47 доллара за миллион выходных.

Веса лежат на Hugging Face и в ModelScope. Сверх 125 миллиардов основной модели в них ещё 51 миллиард параметров N-gram-эмбеддингов, всего 176 миллиардов. Кроме QwenCloud, продакшен-версия доступна через Model Studio, а разработчики в Китае платят за вывод 3 юаня за миллион токенов. В QwenWork, платформе Alibaba для рабочих ИИ-агентов, модель работает в переделанном «стандартном режиме»: по словам компании, он тратит на задачу на 75% меньше токенов и «примерно удваивает скорость генерации» по сравнению с нынешним режимом.

Бенчмарки и цена обучения

На SWE-bench Pro, бенчмарке агентного программирования, Qwen3.8-Flash-Next набирает 62,5. У DeepSeek-V4-Flash-0731 в том же сравнении 56,0, у Qwen3.7-Plus 55, у Claude-Opus-4.6 (Max) 53,4, а своя же Qwen3.8-27B отстаёт всего на 0,8 пункта, с результатом 61,7. Ещё в пяти тестах, от долгой офисной работы в CoWorkBench до агентов на Android в AndroidWorld, модель, по оценке The New Stack, выглядит достойно рядом с DeepSeek-V4-Flash и Claude-Opus-4.6.

Alibaba утверждает, что Qwen3.8-Flash обошлась примерно в девятую часть ресурсов на обучение и при этом сильнее Qwen3.7-Plus, модели втрое крупнее. Затраты и на обучение, и на инференс она, по словам компании, «значительно снижает».

Что поменяли внутри

По описанию Alibaba, модель переделана в четырёх местах: внимание, остаточные связи, эмбеддинги и оптимизация. Внимание осталось гибридным. Gated DeltaNet, разновидность линейного внимания, сжимает историю, а вместе с ним работает новая Qwen Sparse Attention (QSA): лёгкий сжатый индексатор отбирает нужный контекст, и на длинных последовательностях внимание обходится существенно дешевле. Отбирает он не отдельные токены, а микроблоки, в пределах бюджета «512 блоков или 2048 токенов».

Каркас слоёв тот же, что у Qwen3-Next, вышедшего 10 сентября 2025 года: 48 слоёв, где на каждые три слоя Gated DeltaNet приходится один слой внимания. Поменялся как раз этот четвёртый слой: место Gated Attention, обычного внимания с обучаемым затвором на выходе, заняла QSA.

Gated Residual, как объясняют в Alibaba, расширяет пути передачи данных между слоями и укрепляет обмен информацией между ними и стабильность обучения. N-gram-эмбеддинги наращивают ёмкость модели при минимальных дополнительных вычислениях, а оптимизатор Muon повышает эффективность обучения в больших масштабах.

Запуск на своём железе

В Alibaba уверяют, что модель можно запустить на железе, которое у разработчиков, скорее всего, уже есть. Инженер-мехатроник Алок (Alok) рассказал в X, что на одной RTX 4090 с 24 ГБ памяти и окном в 250 000 токенов Qwen3.8-Flash-Next выдала ему 21 токен в секунду на генерации и 364 на обработке промпта, без MTP, без dflash и без квантизации KV-кэша. «Мы запускаем модели дата-центров на потребительском железе», - подытожил он.

Разработчик под ником Embedding Shapes на Hacker News в крепких выражениях жалуется, что модели раз за разом проваливают совсем базовые вещи. «Мне бы очень хотелось, чтобы локальные LLM действительно могли заменить удалённые уже сегодня, и врать о своём опыте мне тоже незачем», - добавляет автор. Отзывы о Qwen 3.8 в сети обнадёжили и Embedding Shapes, но для локальной профессиональной разработки модель «просто (пока) не дотягивает».

Путь прошлого превью

Qwen3.8-Flash, по словам Alibaba, «играет ту же роль», что Qwen3-Next играл для Qwen3.5. Компания, как объясняет The New Stack, надеется, что сообщество разберёт и обкатает новые компоненты до того, как на них построят всё семейство Qwen4, а разработчики заранее начнут планировать под него свой код.

Прошлая смена архитектуры на старте споткнулась о llama.cpp: в том же сентябре heise online отмечал, что из-за сильно изменённого устройства модели популярный инструмент с Qwen3-Next, вероятно, пока работать не будет, тогда как библиотека Transformers, vLLM и фреймворк MLX от Apple с ней работали. Сам гибрид Gated DeltaNet и Gated Attention 16 февраля лёг в основу Qwen3.5-397B-A17B, первой модели серии Qwen3.5, а затем перешёл в Qwen3.6, Qwen3.7 и Qwen3.8.

Пока никто не написал. Будьте первым.

Присоединяйтесь к разговору

Войдите, чтобы оставить комментарий. Он появится после модерации.