V4.1 Flash: 552 миллиарда параметров и Encoder-Decoder

552 миллиарда параметров - столько у модели, которую DeepSeek называет самой маленькой в своей новой архитектурной семье: V4.1 Flash 10 сентября появилась на Hugging Face. Тем, кто запускает V4-Flash на своём железе, переход на новую Flash обойдётся в память под 552 миллиарда параметров вместо 284: в MoE-модели загружены все эксперты, даже если на каждый токен работают лишь несколько из них.

В анонсе в Threads V4.1 Flash описана как MoE с новой структурой Encoder-Decoder и нативным пониманием изображений, веса лежат на странице модели. DeepSeek заявляет новый метод предобучения и обучение с подкреплением большего масштаба после него. Число активных параметров не названо, а именно от него зависит, сколько вычислений уходит на каждый токен. Для сравнения, флагман V4-Pro насчитывает 1,6 триллиона параметров, из них 49 миллиардов активных.

Работа с картинками до сих пор шла в линейке отдельной веткой: в августе DeepSeek открыла в API экспериментальную V4-Flash-Vision-Exp, которая принимала текст и изображения в одном запросе. В V4.1 Flash изображения понимает сама модель, и её веса можно скачать.

До публикации весов модель прошла ограниченную бету: она открылась 8 сентября с двухдневным окном тестирования и автоматически отключилась в тот же день, когда V4.1 Flash появилась на Hugging Face.