150 млн параметров дают 29,5% pass@2 на ARC-AGI-1

Рассуждающая модель BDH-CQ на 150 млн параметров решает 29,5% задач публичного оценочного набора ARC-AGI-1 по метрике pass@2. Расчётная стоимость вывода при этом 0,0007 доллара за задачу. Эти цифры приводят авторы препринта, страница которого появилась на Hugging Face Papers 13 августа. По их словам, эта точка выходит за ранее опубликованную границу цены и точности на ARC-AGI-1 и устанавливает новый рекорд бенчмарка по экономичности.
Авторы претендуют на рекорд именно по экономичности. При pass@2 у модели две попытки на задачу, и задача засчитывается, если верна хотя бы одна. Стоимость в препринте расчётная, а не взята из счёта за реальный прогон.
BDH-CQ выросла из архитектуры BDH (Dragon Hatchling). Её представила команда Pathway Research в статье на arXiv от 30 сентября 2025 года. В той работе BDH описана как новая архитектура языковой модели: масштабно-инвариантная сеть локально взаимодействующих «нейронов», вдохновлённая устройством мозга. Авторы утверждали, что на задачах языка и перевода она не уступает GPT-2 при том же числе параметров, от 10 млн до 1 млрд, и на тех же данных обучения. У BDH две формулировки: децентрализованная система, где вычисления живут на синапсах, и реализация под GPU, которая на практике держится на уровне трансформеров в стиле GPT.
Рабочая память BDH во время вывода целиком держится на синаптической пластичности и хеббовском обучении: связи между нейронами, которые срабатывают вместе, усиливаются прямо по ходу работы. Векторы активаций разреженные и неотрицательные. В BDH-CQ примеры, поданные на входе, непрерывно обновляют рекуррентную память модели, а запрос она решает итеративными вычислениями в многомерном скрытом пространстве и промежуточные шаги текстом не выписывает. В блоге AWS о разработке Pathway добавляют, что наружу декодируются только варианты ответа, а веса во время теста не меняются: модель берётся за новую задачу без дообучения и без длинных цепочек рассуждений. Там же сказано, что Pathway обучает BDH на PyTorch и масштабирует обучение через Amazon SageMaker HyperPod.
Свою мотивацию Pathway формулирует прямо: у трансформеров нет ни непрерывного обучения, ни постоянной памяти, ни рассуждений в скрытом пространстве, а плотные архитектуры не обобщают рассуждения по цепочке мыслей за пределы того, на чём учились. BDH компания подаёт как шаг от потокенной обработки к параллельным скрытым рассуждениям.
На Sudoku Extreme BDH, по словам Pathway, решает 97,4% из примерно 250 тысяч сложных головоломок без цепочки мыслей, перебора с возвратом и внешних инструментов. Но в репозитории на GitHub уточняется, что цифра относится к внутренней реализации Pathway: открытый код содержит только базовый вариант и 97,4% без доработок не воспроизводит. Для BDH-CQ авторы выложили страницу проекта и репозиторий, препринт доступен на arXiv под номером 2608.09888.
Кроме прогона по публичному набору, авторы поставили контролируемые эксперименты на задачах в духе ARC. В них проверяли, что модель извлекает из демонстраций, насколько последовательно применяет выведенное преобразование и какие концепции даются ей с трудом.
Дальше
Сохранение рассуждений подняло ARC-AGI-3 с 13,3% до 38,3%
На ARC-AGI-3 модель GPT-5.6 Sol набрала 13,3% со стандартной обвязкой и 38,3% после включения сохранённых рассуждений и сжатия контекста, пишет OpenAI. Выходных токенов при этом ушло примерно в 6 раз меньше.
Читайте также
- Две настройки API утроили результат GPT-5.6 на ARC-AGI-3
- Две настройки API утроили результат на ARC-AGI-3
- Пять копий Qwen3.8-27B чуть обошли Claude Fable 5
- Claude угадывает белки, о которых никто не писал
- Fable 5.2 спроектировал три устройства без правок схемы
- GPT-6 Astra набрала 66,7% против 43,8% у GPT-5.6 Sol
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

