Inkling-Small: 276 млрд параметров, 12 млрд активных

Младшая версия Inkling вышла 30 июля с 276 миллиардами параметров всего и 12 миллиардами активных. У старшей модели Thinking Machines 975 миллиардов параметров и 41 миллиард активных.

Inkling-Small построен как Mixture-of-Experts трансформер, контекстное окно доходит до 1 миллиона токенов, рассуждение над аудио и изображениями заявлено как нативное. В анонсе компания привела результаты на нескольких бенчмарках по программированию и отметила скорость работы. Открытые веса выложены на Hugging Face, модель также запускается в Tinker Playground.