Flint от Recursive обещает 125+ токенов/с на MacBook

Стартап Recursive, основанный Ричардом Сокером и Тимом Рокташелем, 21 октября открыл веса своей первой модели Flint. Это смесь экспертов (MoE) для агентов-программистов: всего в ней 39,8 миллиарда параметров, а на каждый токен работают около 2,5 миллиарда, примерно 6% весов.

В карточке модели Recursive на Hugging Face сказано, что Flint изучает кодовую базу, чинит баги, реализует фичи и пишет тесты. Модель умеет рассуждать и вызывать инструменты в многоходовом диалоге, на входе и выходе у неё только текст. Веса выложены под Apache 2.0, условия хостового API идут отдельно от этой лицензии. Запускать модель можно двумя путями: полный BF16-чекпойнт ставится на сервер, квантованные версии - на ноутбук, и требования к железу у них сильно различаются.

До этого релиза у Recursive не было ни одного продукта. Весной, по сообщению The Decoder, компания, которой тогда было четыре месяца, привлекла не меньше 500 миллионов долларов при оценке 4 миллиарда до сделки. Раунд вёл GV, участвовала Nvidia. Команда из примерно 20 человек хочет построить ИИ, который улучшает себя сам, без участия людей. Flint стал первой публичной проверкой этой идеи: по словам Recursive, его меньше чем за четыре месяца собрала небольшая команда людей и агентов вместе с собственной системой автоматических исследований Eureka Machine.

Что внутри 40B-A2.5B

«40B-A2.5B» - округлённое обозначение размера. В 2,5 миллиарда активных параметров Recursive включает выходной слой, а полную матрицу входных эмбеддингов не считает. Само тело сети на токен занимает около 2,2 миллиарда.

В модели 49 слоёв: первые два плотные, остальные 47 построены как MoE. В каждом таком слое 256 экспертов, роутер выбирает для токена шесть из них, и ещё один общий эксперт работает всегда. Внимание тоже разделено. В 35 слоях оно скользящее: токен видит себя и 512 предыдущих токенов, всего окно на 513. Остальные 14 слоёв смотрят на весь контекст. Позиционное кодирование RoPE есть только в слоях со скользящим окном, в полных слоях позиций нет вовсе. На 32 головы запросов приходится всего 4 головы ключей и значений с размерностью 128, поэтому KV-кэш на длинном контексте растёт заметно медленнее. Внимание дополнительно стабилизируют RMSNorm на Q и K в каждой голове и обучаемые attention sinks, отдельные позиции, на которые голова может «сбрасывать» лишнее внимание.

Документированный контекст составляет 262 144 токена, и в него входят и промпт, и ответ. Анонс Recursive называет предел в 512 тысяч токенов, но сама компания советует держаться в пределах 256 тысяч. Словарь на 150 144 токена, знания модели заканчиваются июнем 2026 года.

Модель обучили с нуля: предобучение, промежуточное дообучение (mid-training), SFT и обучение с подкреплением на тексте, коде, следовании инструкциям и агентских задачах. В Recursive рассказывают, что Eureka Machine сама предлагала, реализовывала и проверяла идеи по архитектуре, данным, оптимизаторам, рецептам обучения, инфраструктуре, квантованию и скорости инференса. Поиск начался с базовой конфигурации на 35 миллиардов параметров с 3 миллиардами активных и закончился нынешним вариантом 40B с 2,5B активных.

Бенчмарки и их условия

В собственных замерах Recursive Flint набрал 54,9% на Terminal-Bench 2.1, 89,7% на SWE-bench Pro v2 и 74,2% на SWE-bench Verified. Terminal-Bench гоняли через агента Terminus 2, SWE-bench через mini-swe-agent. Каждое число означает средний pass@1 минимум по пяти попыткам при temperature 1.0, top-p 0.95 и top-k 20.

У Terminal-Bench есть важная оговорка. Решения, которые модель добыла через веб-поиск, Recursive засчитала как неудачные, а цифры конкурентов в сравнении взяты из отчётов самих разработчиков, и такой поправки там может не быть. Компания отдельно предупреждает, что условия оценки у разных источников различаются.

На этих трёх тестах, утверждает Recursive, Flint лидирует среди MoE-моделей меньше 50 миллиардов параметров. По качеству компания ставит его рядом с плотными моделями для кода на 25-40 миллиардов, которые, по её словам, работают в пять с лишним раз медленнее. В посте Сокера сравнение мягче: до двух раз быстрее сопоставимых моделей, больше 125 токенов в секунду на MacBook Pro и больше 150 на RTX Spark.

Как поднять сервер

Полный чекпойнт, по документации, рассчитан на одну B300 или H200 на реплику, и запускается он через SGLang-кит из папки sglang/. Так что «локальной» Flint в полной точности будет только у того, кто держит под рукой карту из дата-центра. Кода для Transformers пока нет. Порядок запуска из карточки такой:

• скачать репозиторий командой hf download RecursiveSI/flint --local-dir flint, это около 80 ГБ;
• собрать образ: docker build -t flint-sglang sglang;
• запустить контейнер со скриптом serve_b300.sh, а для H200 со скриптом serve_h200.sh;
• дождаться ответа от localhost:30000/health_generate и проверить работу через sglang/example_client.py.

Сервер отдаёт OpenAI-совместимый API на http://localhost:30000/v1 с именем модели flint, поэтому подойдёт обычный клиент openai. Вызовы инструментов тоже идут в формате OpenAI. Требования, варианты запуска на нескольких GPU и детали API описаны в sglang/README.md.

Если в запросе не указаны параметры семплинга, сервер сам подставит рекомендованные: temperature 1.0, top-p 0.95, top-k 20. На сложные задачи Recursive советует закладывать не меньше 32 768 выходных токенов, включая рассуждения. Ещё два требования касаются агентских сценариев: нужно использовать чат-шаблон из чекпойнта и сохранять в истории диалога возвращённое поле reasoning_content. Промпт и ответ делят одно окно, поэтому длинная история съедает бюджет на рассуждение.

А на MacBook?

Для рантаймов NVIDIA и Apple Silicon квантованные версии готовят отдельно. Recursive перечисляет поддержку llama.cpp, Ollama, Unsloth, LM Studio, vLLM и SGLang, а для Mac выпускает собственный движок rec, настроенный под Flint на M4 Pro, M5 Pro и M5 Max. С ним модель выдаёт больше 125 токенов в секунду на MacBook Pro с M4 Pro и больше 150 на RTX Spark с 64 ГБ памяти. Обе цифры получены на коротких контекстах.

Скорость обеспечивают специальные ядра для низкобитных проекций, операций MoE, внимания и обработки промпта. Для чипов M4 и M5 есть Metal-мегаядро, которое сливает весь прямой проход при декодировании в один вызов.

Квантованием тоже занималась Eureka Machine. Выходной слой она перевела в четыре бита и применила офлайн-дистилляцию, в которой учителем была 16-битная версия модели. По данным Recursive, модель в NVFP4 отстаёт от 16-битной не больше чем на 0,7 пункта по бенчмаркам компании, а шагов обучения ей понадобилось почти вдвое меньше, чем базовому варианту с обучением под квантование. Карточка модели при этом напоминает, что результаты зависят от точности чекпойнта и движка инференса.

Сколько подсказок нужно Flint

Recursive прямо пишет, что Flint может понадобиться больше подсказок, чем крупным закрытым моделям. Компания советует дробить сложную работу на небольшие подзадачи и давать явные инструкции.

В SFT добавляли примеры, связанные с безопасностью, но модель всё равно может выдать неверный или вредный ответ, сломанный код или неуместный вызов инструмента. Строгая грамматика вызовов не мешает модели выбрать опасное действие, поэтому права и границы исполнения должно задавать само приложение. Длинное рассуждение увеличивает задержку и может исчерпать выходной бюджет раньше, чем появится ответ. А 262 144 токена контекста Recursive называет пределом ёмкости и не обещает одинаковой точности на любой длине.

Отсюда главный совет из карточки: оценивать нужно ровно ту связку чекпойнта и рантайма, которую вы собираетесь развернуть. С проблемами запуска Recursive просит писать на support@recursive.com и прикладывать ревизию чекпойнта, версию рантайма, железо, команду запуска и минимальный пример воспроизведения.