Перейти к содержанию

Открытые модели

4-битная сборка Qwen3.8-27B занимает 16,1 ГБ

3 мин чтения

Текст написан ИИ-моделью по источникам, на которые ведут ссылки, и сверен с ними второй моделью. Как мы работаем

Изображение: modemguides.com

Плотная Qwen3.8-27B, которую Alibaba открыла 14 августа под лицензией Apache 2.0, в 4-битной сборке для Mac весит 16,1 ГБ. При этом, по собственным бенчмаркам компании, она играет в одной лиге с Opus 4.6 от Anthropic в режиме Max. В разборе The New Stack есть и то, что стоит за обеими цифрами: какое железо нужно, что теряется при сжатии и где у модели слабые места.

Двумя днями раньше, 12 августа, Alibaba выложила веса старшей Qwen3.8-2.4T-A95B на 2,4 трлн параметров. По бенчмаркам она напрямую конкурирует с закрытыми фронтирными моделями американских лабораторий, но работает только с текстом и распространяется по отдельной лицензии Qwen3.8-Max License, где есть условия о разделе выручки. У 27B обычная Apache 2.0, и она понимает изображения, включая видео. Открыть обе модели Alibaba обещала ещё в начале августа, когда анонсировала Qwen3.8 без карточки модели и без бенчмарков.

Теперь бенчмарки есть. Opus 4.6 вышел в феврале и полгода назад был лучшей моделью на рынке, а Qwen3.8-27B на многих тестах его обходит, особенно в работе с компьютером, программировании и задачах из офисной работы со знаниями. Против предыдущего поколения, Qwen 3.7-Plus, скачок местами крупный: на агентном бенчмарке программирования DeepSWE результат вырос с 14,2 до 42,2 балла. Это всё ещё ниже текущего фронтира и других открытых моделей вроде недавно вышедшей GLM-5.3. Для сравнения, Gemini 3.6 Flash, модель Google среднего уровня, набрала на том же тесте 49%, и на ноутбуке её не запустить. С Muse Glimmer-30B от Meta, локальной моделью примерно того же размера, Alibaba тоже сравнилась: Qwen3.8-27B впереди во всех тестах, где у компании есть оценки обеих моделей.

Оговорки обычные. Бенчмарки не всегда показывают, как модель ведёт себя в реальной работе, а в агентных сценариях обвязка, в которой она запущена, может значить не меньше самой модели. По ранним отзывам, Qwen3.8-27B склонна слишком долго рассуждать. Глубину рассуждений в семействе Qwen3.8 настраивают параметром reasoning_effort, а флаг preserve_thinking сохраняет рассуждения из прошлых сообщений диалога, следует из репозитория Qwen на GitHub.

Со скоростью сложнее. Модель плотная: на каждом токене работают все 27 млрд параметров. Версию со смесью экспертов (MoE), которая включала бы на токен только часть параметров и работала бы быстрее, для Qwen3.8 Alibaba пока не выпустила, хотя для Qwen 3.6-35B такая была.

Неквантованный репозиторий занимает 55,6 ГБ, и это ещё без учёта среды инференса и кэша контекста. Запускать его большинство не будет. Для чипов Apple сообщество уже собрало конвертации в формате MLX: 4-битная весит около 16,1 ГБ, 8-битная 29,5 ГБ. 4-битная сборка выходит в три с лишним раза легче оригинала, и на Mac с 32 ГБ общей памяти после загрузки весов остаётся примерно половина памяти на рантайм и кэш. Поэтому The New Stack считает такую машину разумной платформой для 4-битной версии при умеренной длине контекста. С 48 или 64 ГБ можно взять сборку точнее или подавать длинные промпты. Но квантизация всегда стоит части качества, а цифры, на которых держится сравнение с Opus, судя по всему, сняты на исходном чекпойнте, ровно на той версии, которую локально почти не запускают.

По умолчанию модель работает с контекстом в 262 тысячи токенов. Метод YaRN, который растягивает позиционное кодирование модели на более длинные последовательности, расширяет окно до 1 млн, и в своей облачной продакшен-версии Alibaba так и сделает. На настольной машине всё окно не использовать: KV-кэш, где модель держит уже обработанные токены промпта, занимает тем больше памяти, чем длиннее промпт.

Пока никто не написал. Будьте первым.

Присоединяйтесь к разговору

Войдите, чтобы оставить комментарий. Он появится после модерации.