Перейти к содержанию

Открытые модели

Large 4 от Mistral: API сегодня, веса в конце октября

3 мин чтения

Текст написан ИИ-моделью по источникам, на которые ведут ссылки, и сверен с ними второй моделью. Как мы работаем

Видео: threads.com

Mistral Large 4 по прозвищу Le Chonk, модель Mistral на 1 триллион параметров, с 6 октября открыта в публичном превью через API в Mistral Studio, а открытые веса компания обещает к концу октября (анонс в Threads). До выхода весов модель доступна только через платный API, 1,36 доллара за миллион входных токенов и 4,18 доллара за миллион выходных, а веса Mistral выложит после проверки модели на атаки вместе с экспертами по кибербезопасности, отобранными партнёрами и госорганами.

Large 4 устроена как смесь экспертов (MoE): в каждом блоке вместо одной сети стоят несколько параллельных подсетей, и небольшой маршрутизатор отправляет каждый токен лишь к нескольким из них. Поэтому из триллиона параметров на токен работают 49 миллиардов, около 5%. Мультимодальность заложена с самого обучения: модель работает с таблицами, документами, графиками, техническими чертежами, PDF и большими геопространственными снимками. Mistral нацеливает её на разработку, кибербезопасность, финансы, право, науку и производство.

Где её запускать

Как пишет Testing Catalog, API будет доступен в нескольких регионах, в том числе в европейском развёртывании, которым Mistral управляет целиком сама и по европейскому праву. Для команд безопасности запланированы частное облако и установка на своих серверах, сроки этих вариантов не названы. Превью обслуживают те же европейские дата-центры Mistral, где модель обучали. В обучающих данных больше 160 языков, включая все официальные языки Евросоюза.

Веса и память

Тем, кто ждёт веса, чтобы поднять модель у себя, MoE экономит вычисления, но не память. Как объясняет Hugging Face, такие модели на инференсе быстрее плотных того же размера, зато требуют много видеопамяти, потому что в ней держат всех экспертов сразу, и дообучать их сложнее. Для Large 4 это значит хранить в памяти весь триллион параметров, хотя считает она на токен как модель на 49 миллиардов. У DeepSeek-V3 пропорция похожая: 671 миллиард параметров всего и 37 миллиардов активных на токен.

Перед выкладкой весов партнёры проверяют на атаки ту же модель, но с ослабленной модерацией и расширенными возможностями в кибербезопасности.

Что намерила Mistral

Все результаты ниже приводит сама Mistral. Компания называет Large 4 «лучшей моделью с открытыми весами из США или Европы» по сводным бенчмаркам, хотя открытых весов пока нет. В разработке у неё 61,7% на DeepSWE v1.1 и 59,9% на AutomationBench. В кибербезопасности 93% в Cybench и 82% на тесте из Artificial Analysis Cyber Index, где нужно воспроизвести уязвимость и выпустить патч. Атаки из бенчмарка Lakera B3 модель отразила в 93,3% случаев. В визуальной привязке к объектам на Dense 200 у неё 42%, и GPT-6 Astra с 41% она обходит всего на пункт.

По юридическим и финансовым задачам Mistral ссылается на сторонние оценки, где Large 4 выше GPT-6 Astra, а на Legal Agent от Harvey впереди всех открытых моделей; цифр по этим двум сравнениям в анонсе нет. Гендиректор Mistral, по словам которого, приведённым Reuters, новая модель «в некоторых аспектах, включая кибербезопасность» превосходит китайские, чисел тоже не называл.

Как её учили

Large 4 обучили с нуля на 3 800 GPU NVIDIA Grace Blackwell в собственных европейских дата-центрах Mistral, в той же среде для обучения, настройки и RL, которую компания продаёт клиентам как Mistral Forge. Нынешний конвейер обучения с подкреплением на 3 000 GPU выдаёт около 33 миллиардов токенов в день, из них примерно 16 миллиардов остаются для обучения после фильтрации и маскирования. Модель стала первым результатом, профинансированным серией D на 3 миллиарда евро, и на её основе Mistral собирается строить семейство специализированных моделей с открытыми весами и самостоятельным развёртыванием.

AI-индустрияОткрытые модели

Mistral Large 4 обошла GLM-5.3 на DeepSWE, пишет VentureBeat

У Mistral Large 4 появились первые цифры: по данным VentureBeat, 15% на юридическом бенчмарке Harvey дают ей лучший результат среди открытых моделей. Технического отчёта, где это можно проверить, Mistral при этом не выложила.

Пока никто не написал. Будьте первым.

Присоединяйтесь к разговору

Войдите, чтобы оставить комментарий. Он появится после модерации.