Немецкая Kolibri с окном в 1M токенов вышла под Apache 2.0

У Kolibri на каждый токен работают 3,46 миллиарда параметров из 78,1 миллиарда. Гейдельбергская Aleph Alpha 3 октября выложила на Hugging Face полные веса этой англо-немецкой MoE-модели под лицензией Apache 2.0 и заявила окно контекста до 1 048 576 токенов. С 2019 года компания работает только с корпорациями и госструктурами, и Kolibri адресована им же: госсектору и регулируемым отраслям, которым нужно держать модель на своих серверах и не отдавать внутренние данные чужому сервису инференса.
В описании модели, которое цитирует пост в Threads, сказано: «Модель поддерживает явный режим рассуждений и вызов инструментов. Она оптимизирована под длинный контекст и эффективность инференса». Глубину рассуждений выбирают из четырёх уровней: none, low, medium и high. Специализировали Kolibri под немецкий язык, математику, код, длинный контекст и агентные задачи. Для госуправления, автопрома, полупроводников, промышленных технологий и аэрокосмоса компания собрала отраслевые наборы тестов, клиентские данные в них не использовались.
Прошлые открытые модели Aleph Alpha распространялись на других условиях. 26 августа 2024 года вместе с платформой PhariaAI компания выпустила две модели Pharia-1 на 7B, а код обучения открыла только для некоммерческих исследований и образования. По словам консалтинговой компании innFactory, Pharia-1-LLM-7B была плотной моделью на 7,04 миллиарда параметров с контекстом 8 192 токена и лицензией Open Aleph License без права коммерческого использования. Kolibri под Apache 2.0 можно встраивать в коммерческий продукт без отдельного договора с Aleph Alpha.
Где спрятана экономия
В модели 384 эксперта, и на каждый токен включаются шесть из них. Остальные подсети в этот момент простаивают, поэтому считать приходится примерно как для модели на три с половиной миллиарда параметров, хотя в памяти лежат все 78.
Вторая часть экономии сидит во внимании. Полное внимание, при котором токен видит весь контекст, стоит только в 10 слоях из 50. В остальных 40 работает скользящее окно на 512 токенов: каждый токен смотрит лишь на ближайших соседей. По словам Aleph Alpha, так сдерживают стоимость инференса на длинных входах.
С самим окном есть оговорка. Адаптацию к длинному контексту довели до 256 000 токенов, а миллион с лишним компания предлагает получать через отдельные настройки сервинга.
Обучали Kolibri на 768 GPU B200 в Германии и Финляндии. Предобучение заняло 21 день и 20 триллионов токенов, потом шли промежуточное дообучение и адаптация к длинному контексту, всего почти 24 триллиона. Немецкий составляет 21,3% токенов предобучения. Словарь двуязычный, на 128 000 записей, токенизатор устроен так, чтобы не дробить немецкие составные слова. В основе лежат прошлая Kolibri Origin и автоматизированный конвейер компании Model Factory.
Токенизатор при этом обычный, UniBPE, говорят в innFactory. Собственную безтокенизаторную архитектуру T-Free, на которой Aleph Alpha в январе 2025 года выпустила модель на 8B, а в сентябре 2025-го на 70B, в Kolibri не взяли. Те модели в innFactory называют ранним исследовательским релизом.
Бенчмарки на своих стендах
Все цифры ниже Aleph Alpha получила сама, на собственных тестовых обвязках и, где это применимо, на максимальном уровне рассуждений. Общий балл по английским тестам 75,5, по немецким 70,8. На AIME 2025 модель набрала 96,9, на LiveCodeBench v6 85,9, на BFCL v4 (вызов функций) 61,4 в общем зачёте.
Компания утверждает, что Kolibri стоит на парето-фронте качества и стоимости сервинга в английском и немецком. В математике, коде, работе с источниками, агентных задачах и длинном контексте, по словам Aleph Alpha, модель догоняет конкурентов, у которых активных параметров до четырёх раз больше.
В технический отчёт заглянули и в innFactory. По их пересказу, по общим баллам Kolibri обходит модели своего класса: Qwen3.5/3.6 35B-A3B, Gemma 4 26B-A4B и Nemotron 3 Nano. Ответы из собственной памяти без документов и многоходовый вызов инструментов у неё слабее, чем у этих моделей, а рассчитана она на работу в связке с поиском по документам. Независимых оценок на момент выхода в innFactory не нашли.
Промолчать без доказательств
Обоснованность ответов, умение отвечать по предоставленным документам, Aleph Alpha вынесла в центр релиза. Kolibri учили на примерах отказа от ответа и по процедуре Merlin-Arthur. Это состязательная схема обучения: модель приучают не отвечать, когда в материале нет подтверждения.
На тесте AA-Omniscience Kolibri избежала неверного ответа в 44% вопросов, у Kolibri Origin было 14,8%. По собственной метрике компании, M/A grounding score, модель получила 0,23.
Что нужно для запуска
Веса в FP8 весят около 78 ГБ, подсчитали в innFactory, и для них хватит двух H100 или A100 на 80 ГБ, одной H200 или одной B200. Там же уточняют ограничения: модель работает только с текстом, только на немецком и английском, а её знания заканчиваются 18 июня 2026 года.
Конарк Моди (Konark Modi) написал, что его команда разместила Kolibri-1 у себя и на какое-то время открыла её бесплатно для всех желающих. Выход модели в День германского единства он назвал особенно уместным.
Для развёртывания Aleph Alpha даёт собственный пакет инференса и плагин к vLLM, написанный под Kolibri, с отдельными парсерами для рассуждений и вызовов инструментов. Модель построили в Германии, и, по словам компании, контроль над отбором данных, обучением, оценкой, весами и развёртыванием должен закрыть европейские требования к соответствию и суверенитету.
Дальше
Дыру, найденную Mythos, начали эксплуатировать через сутки
Исследователь выложил разбор дыры в Rejetto HFS, которую нашла Mythos, вместе с видео атаки, и уже на следующий вечер её атаковали с китайского IP. До четверга из 286 CVE от Mythos в реальных атаках всплыл всего один.
Читайте также
- Flint от Recursive обещает 125+ токенов/с на MacBook
- Nemotron 3.5 Super VL сильна в терминале, слабее в коде
- У LFM2.5 от Liquid AI из 24B параметров работают 2B
- Шесть моделей K2 Horizon вышли с логами обучения
- Веса Kimi K3.1 Pro открыты: 104 млрд активных параметров из 2,8 трлн
- Hy4 от Tencent получил зрение по цене превью, веса позже
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

