Веса Kimi K3 на 2,8 трлн параметров открыты

Moonshot AI выложила на HuggingFace веса Kimi K3, модели Mixture-of-Experts на 2,8 трлн параметров. Компания называет её первой открытой моделью, дошедшей до такого размера, и отмечает, что девять из последних двенадцати месяцев верхнюю границу размеров открытых моделей задавали модели Kimi.

Kimi K3 работает с контекстом в 1 миллион токенов и обрабатывает изображения нативно, без внешних модулей. Архитектура построена на Kimi Delta Attention и Attention Residuals. До этого Moonshot AI приостанавливала приём новых подписок из-за спроса на K3. Публикацию полных весов компания обещала до 27 июля 2026 года, и релиз состоялся в этот срок.