open-models

Веса Kimi K3 на 2,8 трлн параметров открыты

Promtime

open-models

Moonshot AI выложила на HuggingFace веса Kimi K3, модели Mixture-of-Experts на 2,8 трлн параметров. Компания называет её первой открытой моделью, дошедшей до такого размера, и отмечает, что девять из последних двенадцати месяцев верхнюю границу размеров открытых моделей задавали модели Kimi.

Kimi K3 работает с контекстом в 1 миллион токенов и обрабатывает изображения нативно, без внешних модулей. Архитектура построена на Kimi Delta Attention и Attention Residuals. До этого Moonshot AI приостанавливала приём новых подписок из-за спроса на K3. Публикацию полных весов компания обещала до 27 июля 2026 года, и релиз состоялся в этот срок.

Комментарии

Пока никто не написал. Будьте первым.

Присоединяйтесь к разговору

Войдите через Google, чтобы оставить комментарий. Имя и аватар подставятся из вашего профиля Google, а комментарий появится после модерации.

Из Google мы используем только имя и аватар. Почту не сохраняем.