Веса Kimi K3.1 Pro открыты: 104 млрд активных параметров из 2,8 трлн

Moonshot AI 4 ноября выложила на HuggingFace веса Kimi K3.1 Pro под собственной лицензией «Kimi K3.1 Pro» License. Модель дообучена из Kimi K3 и сохранила её масштаб: 2,8 трлн параметров, из которых на каждый токен работают 104 млрд. Запрос без поля reasoning_effort модель выполняет на максимальном уровне рассуждений, и на этом же уровне сняты все её результаты в таблице сравнений, которую Moonshot собрала сама.

Как сказано в карточке модели от Moonshot AI, у reasoning_effort три значения: "low", "high" и "max", по умолчанию стоит "max". В многоходовых диалогах и при вызовах инструментов модели нужно возвращать полное сообщение ассистента ровно в том виде, в каком его отдал API. Сам API открыт на platform.kimi.ai под именем kimi-k3.1-pro и совместим с форматами OpenAI и Anthropic. Для запуска на своём железе Moonshot рекомендует vLLM, SGLang и TokenSpeed, к каждому движку приложен рецепт или cookbook.

Размер и внимание

Веса хранятся в MXFP4, активации в MXFP8, а квантизацию учитывали ещё во время обучения. Масштаб и формат весов у K3.1 Pro те же, что у Kimi K3, а для K3 полный набор весов занимает 1,56 ТБ и требует кластера из нескольких узлов с суммарной видеопамятью от 1,6 ТБ, подсчитали в Yotta Labs.

Из 93 слоёв K3.1 Pro 69 построены на Kimi Delta Attention (KDA). Слои полного внимания Gated MLA, которые были в K3, заменили на 24 слоя разреженного Gated DSA (DeepSeek Sparse Attention) ради более эффективной работы с длинным контекстом. Окно составляет 1 048 576 токенов, на вход модель принимает текст и изображения, за картинки отвечает энкодер MoonViT-V2 на 401 млн параметров. Экспертов в MoE-слоях 896, на токен выбираются 16 плюс два общих.

Чьи это замеры

Kimi K3.1 Pro сравнивали с Claude Fable 5.1, GPT-6 Astra, Claude Opus 5.5, DeepSeek-V4.1-Flash-1017 и GLM-5.3. В Terminal-Bench, SWE Marathon, DeepSWE и ряде других тестов по коду K3.1 Pro шла в обвязке Claude Code, часть агентных проходила в собственной Kimi Code, а цифры конкурентов в основном взяты из их отчётов, блогов и официальных лидербордов, и для закрытых моделей оговорён режим с fallback. Настройки K3.1 Pro везде одни: max, temperature 1,0, top-p 0,95. Несколько строк таблицы - внутренние бенчмарки Kimi, например Kimi Code Bench и Kimi Hallu Bench, а PostTrain Bench модель гоняли на H20 вместо H100.

На Terminal-Bench 4.0 у K3.1 Pro 65,7 против 66,4 у Opus 5.5, 58,2 у GPT-6 Astra и 57,9 у Fable 5.1. На SWE Marathon v1.1 она первая в таблице с 51,7, у Opus 5.5 там 46,3. В Program Bench, где задача засчитывается только при результате от 95%, у K3.1 Pro всего 31,5 против 65,0 у Opus 5.5 и 53,5 у Fable 5.1. На HLE-Diamond у неё 39,4 против 65,8 у GPT-6 Astra и 60,9 у Opus 5.5.

По доле галлюцинаций на внутреннем Kimi Hallu Bench Hard с инструментами (чем меньше, тем лучше) у K3.1 Pro 8,3. У Opus 5.5 там 15,0, у Fable 5.1 23,3, а у GPT-6 Astra 5,5.

Перед открытым релизом Kimi, по её словам, вычистила из обучения данные по кибербезопасности, чтобы ослабить навыки взлома. В таблице K3.1 Pro уступает всем трём закрытым моделям в обоих тестах на эксплойты. В ExploitBench (лучший из пяти запусков, бюджет 300 ходов) у неё 74,7 против 83,0 у Fable 5.1, 91,0 у Opus 5.5 и 100 у GPT-6 Astra, в ExploitGym с шестью часами на задачу 20,7 против 30,4, 34,5 и 42,4. GLM-5.3 в тех же тестах ниже: 54,4 и 15,0.