Large 4 от Mistral: API сегодня, веса в конце октября
Mistral Large 4 по прозвищу Le Chonk, модель Mistral на 1 триллион параметров, с 6 октября открыта в публичном превью через API в Mistral Studio, а открытые веса компания обещает к концу октября (анонс в Threads). До выхода весов модель доступна только через платный API, 1,36 доллара за миллион входных токенов и 4,18 доллара за миллион выходных, а веса Mistral выложит после проверки модели на атаки вместе с экспертами по кибербезопасности, отобранными партнёрами и госорганами.
Large 4 устроена как смесь экспертов (MoE): в каждом блоке вместо одной сети стоят несколько параллельных подсетей, и небольшой маршрутизатор отправляет каждый токен лишь к нескольким из них. Поэтому из триллиона параметров на токен работают 49 миллиардов, около 5%. Мультимодальность заложена с самого обучения: модель работает с таблицами, документами, графиками, техническими чертежами, PDF и большими геопространственными снимками. Mistral нацеливает её на разработку, кибербезопасность, финансы, право, науку и производство.
Где её запускать
Как пишет Testing Catalog, API будет доступен в нескольких регионах, в том числе в европейском развёртывании, которым Mistral управляет целиком сама и по европейскому праву. Для команд безопасности запланированы частное облако и установка на своих серверах, сроки этих вариантов не названы. Превью обслуживают те же европейские дата-центры Mistral, где модель обучали. В обучающих данных больше 160 языков, включая все официальные языки Евросоюза.
Веса и память
Тем, кто ждёт веса, чтобы поднять модель у себя, MoE экономит вычисления, но не память. Как объясняет Hugging Face, такие модели на инференсе быстрее плотных того же размера, зато требуют много видеопамяти, потому что в ней держат всех экспертов сразу, и дообучать их сложнее. Для Large 4 это значит хранить в памяти весь триллион параметров, хотя считает она на токен как модель на 49 миллиардов. У DeepSeek-V3 пропорция похожая: 671 миллиард параметров всего и 37 миллиардов активных на токен.
Перед выкладкой весов партнёры проверяют на атаки ту же модель, но с ослабленной модерацией и расширенными возможностями в кибербезопасности.
Что намерила Mistral
Все результаты ниже приводит сама Mistral. Компания называет Large 4 «лучшей моделью с открытыми весами из США или Европы» по сводным бенчмаркам, хотя открытых весов пока нет. В разработке у неё 61,7% на DeepSWE v1.1 и 59,9% на AutomationBench. В кибербезопасности 93% в Cybench и 82% на тесте из Artificial Analysis Cyber Index, где нужно воспроизвести уязвимость и выпустить патч. Атаки из бенчмарка Lakera B3 модель отразила в 93,3% случаев. В визуальной привязке к объектам на Dense 200 у неё 42%, и GPT-6 Astra с 41% она обходит всего на пункт.
По юридическим и финансовым задачам Mistral ссылается на сторонние оценки, где Large 4 выше GPT-6 Astra, а на Legal Agent от Harvey впереди всех открытых моделей; цифр по этим двум сравнениям в анонсе нет. Гендиректор Mistral, по словам которого, приведённым Reuters, новая модель «в некоторых аспектах, включая кибербезопасность» превосходит китайские, чисел тоже не называл.
Как её учили
Large 4 обучили с нуля на 3 800 GPU NVIDIA Grace Blackwell в собственных европейских дата-центрах Mistral, в той же среде для обучения, настройки и RL, которую компания продаёт клиентам как Mistral Forge. Нынешний конвейер обучения с подкреплением на 3 000 GPU выдаёт около 33 миллиардов токенов в день, из них примерно 16 миллиардов остаются для обучения после фильтрации и маскирования. Модель стала первым результатом, профинансированным серией D на 3 миллиарда евро, и на её основе Mistral собирается строить семейство специализированных моделей с открытыми весами и самостоятельным развёртыванием.
Дальше
Mistral Large 4 обошла GLM-5.3 на DeepSWE, пишет VentureBeat
У Mistral Large 4 появились первые цифры: по данным VentureBeat, 15% на юридическом бенчмарке Harvey дают ей лучший результат среди открытых моделей. Технического отчёта, где это можно проверить, Mistral при этом не выложила.
Читайте также
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

