Пять копий Qwen3.8-27B чуть обошли Claude Fable 5

Открытая Qwen3.8-27B на локальном сервинге набрала 92,4% pass@1 на 100 последних сложных задачах LiveCodeBench. В одиночном вызове у неё было 69,2%, а Claude Fable 5 на тех же задачах показывает 90,4%. Авторы метода выложили статью, код и данные прогонов в репозитории GVS5H на Github, опубликованном 12 сентября. Свой подход они называют «самооркестрацией через журнал» без обучения и без примеров.

Веса у Qwen те же, меняется только то, как организован вывод. Её прирост составил 23,2 пункта. Ровно эту цифру авторы называют верхней границей прироста среди девяти моделей с открытыми и закрытыми весами, которые они прогнали на закреплённых бэкендах. Fable 5 локальная Qwen обходит на 2 пункта, авторы сами формулируют это как «немного превосходит».

Задачу решает серия свежих экземпляров одной и той же модели, а не один длинный диалог. Экземпляры делят задачу на части и координируются через общую файловую систему, где лежат план, заметки и текущее решение. Каждый новый экземпляр стартует с чистым контекстом, но видит в файлах, что уже сделано и что решили делать дальше. Авторы разобрали транскрипты и связывают прирост именно с этим: с декомпозицией задачи и с контекстом, который сохраняется при смене экземпляров.

Второй путь к уровню Fable 5 идёт через закрытую модель. Оркестрованный GPT-5.6-Terra набрал 88,0% при 19% стоимости Fable 5, так что меньше чем за пятую часть цены он отстаёт всего на 2,4 пункта. Результат Terra в одиночном вызове в аннотации не приводится. Общий вывод авторов: организация вывода позволяет приблизиться к уровню передовых моделей в коде за долю стоимости, а на весах, которые можно развернуть у себя, даже немного его превзойти.

Работает это не на всех. «Прирост не универсален: у части моделей результат не изменился или ухудшился», - пишут авторы. Из девяти моделей в аннотации поимённо названы только две, где метод сработал.

Сам бенчмарк устроен так, чтобы ловить утечку задач в обучающие данные. LiveCodeBench постоянно собирает новые задачи с контестов LeetCode, AtCoder и Codeforces и помечает каждую датой выхода, поэтому модель можно проверять на задачах, появившихся после её среза знаний. В исходной статье 12 марта 2024 года авторы бенчмарка показали, что модели DeepSeek заметно проседают на задачах LeetCode, вышедших после сентября 2023 года. В команде запуска GVS5H стоит LCB_RELEASE=release_v6. В репозитории LiveCodeBench эта версия описана как набор из 1055 задач, вышедших до апреля 2025 года.

Обвязка вокруг модели уже не первый раз сдвигает результат сильнее, чем выбор самой модели. В сентябре таблица ARC Prize показала, что GPT-6 Astra с отключёнными рассуждениями набрала на ARC-AGI-3 96,7%. Та же модель на максимальных рассуждениях в стандартной обвязке отстала на 34 пункта.

Код распространяется под MIT, статья, графики и данные прогонов под CC BY 4.0. У форка LiveCodeBench и условий задач остаются свои лицензии. Для запуска нужны uv и API-ключ провайдера. Кроме OpenAI поддерживаются anthropic:, dashscope: и openrouter:, у каждого свой *_API_KEY. В примере авторов на ответ выделено до 128 000 токенов и до двух часов (ESCALATION_CLOUD_TIMEOUT=7200), задачи идут по восемь параллельно.

Чтобы сравнить оба режима на своей модели, достаточно двух прогонов escalation/run_bench.py: с флагом --engine single для базового одиночного вызова и с --engine multiagent для оркестрации. Итоговый pass@1 скрипт печатает в конце, результаты пишет в runs/results.json, а рабочие пространства экземпляров складывает в runs/ws/.