4-битная сборка Qwen3.8-27B занимает 16,1 ГБ

Плотная Qwen3.8-27B, которую Alibaba открыла 14 августа под лицензией Apache 2.0, в 4-битной сборке для Mac весит 16,1 ГБ. При этом, по собственным бенчмаркам компании, она играет в одной лиге с Opus 4.6 от Anthropic в режиме Max. В разборе The New Stack есть и то, что стоит за обеими цифрами: какое железо нужно, что теряется при сжатии и где у модели слабые места.
Двумя днями раньше, 12 августа, Alibaba выложила веса старшей Qwen3.8-2.4T-A95B на 2,4 трлн параметров. По бенчмаркам она напрямую конкурирует с закрытыми фронтирными моделями американских лабораторий, но работает только с текстом и распространяется по отдельной лицензии Qwen3.8-Max License, где есть условия о разделе выручки. У 27B обычная Apache 2.0, и она понимает изображения, включая видео. Открыть обе модели Alibaba обещала ещё в начале августа, когда анонсировала Qwen3.8 без карточки модели и без бенчмарков.
Теперь бенчмарки есть. Opus 4.6 вышел в феврале и полгода назад был лучшей моделью на рынке, а Qwen3.8-27B на многих тестах его обходит, особенно в работе с компьютером, программировании и задачах из офисной работы со знаниями. Против предыдущего поколения, Qwen 3.7-Plus, скачок местами крупный: на агентном бенчмарке программирования DeepSWE результат вырос с 14,2 до 42,2 балла. Это всё ещё ниже текущего фронтира и других открытых моделей вроде недавно вышедшей GLM-5.3. Для сравнения, Gemini 3.6 Flash, модель Google среднего уровня, набрала на том же тесте 49%, и на ноутбуке её не запустить. С Muse Glimmer-30B от Meta, локальной моделью примерно того же размера, Alibaba тоже сравнилась: Qwen3.8-27B впереди во всех тестах, где у компании есть оценки обеих моделей.
Оговорки обычные. Бенчмарки не всегда показывают, как модель ведёт себя в реальной работе, а в агентных сценариях обвязка, в которой она запущена, может значить не меньше самой модели. По ранним отзывам, Qwen3.8-27B склонна слишком долго рассуждать. Глубину рассуждений в семействе Qwen3.8 настраивают параметром reasoning_effort, а флаг preserve_thinking сохраняет рассуждения из прошлых сообщений диалога, следует из репозитория Qwen на GitHub.
Со скоростью сложнее. Модель плотная: на каждом токене работают все 27 млрд параметров. Версию со смесью экспертов (MoE), которая включала бы на токен только часть параметров и работала бы быстрее, для Qwen3.8 Alibaba пока не выпустила, хотя для Qwen 3.6-35B такая была.
Неквантованный репозиторий занимает 55,6 ГБ, и это ещё без учёта среды инференса и кэша контекста. Запускать его большинство не будет. Для чипов Apple сообщество уже собрало конвертации в формате MLX: 4-битная весит около 16,1 ГБ, 8-битная 29,5 ГБ. 4-битная сборка выходит в три с лишним раза легче оригинала, и на Mac с 32 ГБ общей памяти после загрузки весов остаётся примерно половина памяти на рантайм и кэш. Поэтому The New Stack считает такую машину разумной платформой для 4-битной версии при умеренной длине контекста. С 48 или 64 ГБ можно взять сборку точнее или подавать длинные промпты. Но квантизация всегда стоит части качества, а цифры, на которых держится сравнение с Opus, судя по всему, сняты на исходном чекпойнте, ровно на той версии, которую локально почти не запускают.
По умолчанию модель работает с контекстом в 262 тысячи токенов. Метод YaRN, который растягивает позиционное кодирование модели на более длинные последовательности, расширяет окно до 1 млн, и в своей облачной продакшен-версии Alibaba так и сделает. На настольной машине всё окно не использовать: KV-кэш, где модель держит уже обработанные токены промпта, занимает тем больше памяти, чем длиннее промпт.
Дальше
Вывод в Claude Code стоит примерно в 5 раз дороже ввода
Переключение модели или уровня /effort посреди разговора обнуляет кеш, и вся переписка считается заново по полной цене. Чтение из кеша стоит 0,1 от цены ввода, дешёвый момент для смены только старт сессии.
Читайте также
- Локальная Qwen3.8-27B вышла с контекстом 262K
- Веса Qwen3.8-27B обещают открыть на следующей неделе
- Mistral выложила веса Large 4 на 1 трлн параметров
- Kimi K3.1 Pro отстала от Opus 5.5 на Terminal-Bench 4.0
- Минорный апдейт DeepSeek обогнал Opus 5 на DeepSWE
- У LFM2.5 от Liquid AI из 24B параметров работают 2B
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

