open-models

Inkling-Small: 276 млрд параметров, 12 млрд активных

Promtime

open-models

Младшая версия Inkling вышла 30 июля с 276 миллиардами параметров всего и 12 миллиардами активных. У старшей модели Thinking Machines 975 миллиардов параметров и 41 миллиард активных.

Inkling-Small построен как Mixture-of-Experts трансформер, контекстное окно доходит до 1 миллиона токенов, рассуждение над аудио и изображениями заявлено как нативное. В анонсе компания привела результаты на нескольких бенчмарках по программированию и отметила скорость работы. Открытые веса выложены на Hugging Face, модель также запускается в Tinker Playground.

Комментарии

Пока никто не написал. Будьте первым.

Присоединяйтесь к разговору

Войдите через Google, чтобы оставить комментарий. Имя и аватар подставятся из вашего профиля Google, а комментарий появится после модерации.

Из Google мы используем только имя и аватар. Почту не сохраняем.