Модель выбора SubQ Snap берёт 384K токенов вместо 32K

12 октября Subquadratic открыла публичное превью SubQ Snap. Это модель выбора для агентов: за один вызов она читает до 384K токенов текста и изображений и только после этого выбирает ответ. Jev от TypeSafe, с которой Snap сравнивают во всех таблицах, видит 32K токенов на одно решение.
В анонсе Subquadratic называет Snap первой моделью выбора, которая забирает настоящую работу у фронтирных LLM. Сейчас такие модели в основном работают рядом с LLM: оценивают её ответы или решают, какой модели отдать задачу. По данным компании, запрос на 100K токенов Snap обрабатывает примерно за секунду, а на сводном Decision Index v0.2.1 обходит Jev на четыре пункта. Все сравнения Subquadratic провела сама.
Зачем модели выбора длинный вход
Модель выбора получает контекст, вопрос и список допустимых ответов. Текст она не пишет: для каждого варианта она выдаёт вероятность. Так агент решает, какие файлы относятся к делу, какой инструмент вызвать следующим, прошёл ли тест и какой шаг стоит отдать большой модели. Subquadratic называет такое сужение «специализацией». Генерации нет, поэтому не нужно платить временем и деньгами за текст, который приложению всё равно не нужен.
Сам интерфейс не привязан к архитектуре. У Laya, Decider от Perplexity и Jev он одинаковый: вопрос, конечный набор ответов, структурированный прогноз. А устроены они по-разному. Laya ставит решающую «голову» поверх двунаправленного энкодера, а Decider v1.1 - предобученная языковая модель, переделанная под некаузальное внимание. Как замечает The New Stack, с середины сентября, когда TypeSafe показала Jev, в эту тему включились OpenAI, Perplexity, Cloudflare, Amazon и Microsoft. Там же 13 октября вышел материал о том, как Workday через Jev собирает интерфейс ассистента Sana прямо на ходу: по запросу сотрудника модель выбирает готовые компоненты, например карточку зарплаты или выбор даты.
Генеральный директор и сооснователь Subquadratic Алекс Уидон в переписке с The New Stack признаёт, что Snap делали с оглядкой на Jev, потому что модели выбора «очень точно совпадают с нашим тезисом». «Для части задач модели выбора убирают необходимость в декодировании», - говорит он. Нынешнюю роль таких моделей он считает слишком узкой: «Мы видим, что у моделей выбора нет видения. Они становятся интересными, когда действительно забирают работу у фронтирных LLM».
Почему контекст упирается в 32K, Subquadratic объясняет через стоимость чтения. Варианты ответа заранее известны, но выбор даже между тремя инструментами может зависеть от того, что разбросано по всему репозиторию или по длинной истории вызовов. У модели выбора почти весь инференс приходится на префилл: модель читает вход. Без генерации пропадает стоимость выхода, а стоимость входа остаётся. При плотном внимании она растёт квадратично: вдвое длиннее контекст - вчетверо больше вычислений на внимание. На длинном входе так съедается экономия, ради которой модель выбора и ставят в цикл агента.
Обходные пути известны: RAG, нарезка на куски, суммаризация, обрезка. Каждый из них заранее решает, что модель увидит, а что нет. В компании приводят примеры потерь: при обрезке пропадает ограничение, которое пользователь задал за 40 ходов до этого, поиск может пропустить нужные сведения, а суммаризация - выкинуть детали, которые потом окажутся важны. Snap рассчитана на четыре роли в цикле агента: маршрутизацию, выбор инструмента, проверку и остановку.
Как устроена Snap
Каждая из двух частей отвечает за свою половину стоимости. Чтение длинного входа берёт на себя Subquadratic Sparse Attention (SSA), разреженное внимание, которое компания представила в начале года вместе с SubQ. По её словам, SubQ стала первой полностью субквадратичной LLM. Плотное внимание сравнивает каждый токен с каждым. SSA сравнивает только самые важные пары токенов, и, по словам Subquadratic, квадратичный рост превращается примерно в линейный.
Пары подбираются по содержимому, а не по заранее заданному позиционному шаблону, как в прежних работах о разреженном внимании. Уидон описывал это так: «Для промпта A важными друг для друга окажутся первое и шестое слово. Для промпта B, может быть, второе и третье. Для каждого промпта по-разному». Кроме того, сам механизм отбора не скатывается в квадратичность на этапе индексации. В Native Sparse Attention от DeepSeek индексатор, который решает, на какие токены смотреть, внутри оставался квадратичным.
Вторая часть - решающая «голова». Она переводит представления, полученные после чтения, прямо в распределение вероятностей по допустимым ответам, без авторегрессивной генерации. Вход может смешивать текст и картинки: скриншоты, графики, диаграммы и сканы читаются вместе с документами и логами вокруг них. Компания называет такие связки: репозиторий с логами, договор с приложениями.
Первая модель на SSA, SubQ, вышла вместе с посевным раундом на 29 миллионов долларов. На миллионе токенов она, по заявлению компании, работает примерно в 52 раза быстрее FlashAttention.
Где Snap выигрывает у Jev
На публичном наборе Decision Index, где все запросы короче 34K токенов, у Snap 61,7 против 57,9 у Jev. Из пяти подобластей она лидирует в четырёх: искусство и человеческий вкус (+12,11), понимание языка (+7,46), поиск и классификация (+6,27), инструменты и автоматизация (+3,39). На Nimble Suite 13 от Bespoke Labs, где 13 наборов задач на выбор, Snap набирает 82,9% против 76,0%.
Отдельно компания выделила из Decision Index 16 тестов, которые, по её мнению, ближе всего к корпоративной работе. Средний балл у Snap 67,54 против 61,6 у Jev, впереди она в 13 тестах из 16. Крупнее всего разрыв в распознавании фишинга на PhishNChips: 47,1 против 25,1. Дальше идут предсказание вывода кода на CRUXEval (73,8 против 57,1), поиск галлюцинаций в RAG на RAGTruth (64,8 против 51,3), тональность упоминаний компаний в финансовых новостях на FinEntity (92,8 против 80,8) и разбор пунктов NDA целиком на ContractNLI (70,7 против 59,1).
Проигрывает Snap в трёх тестах. На API-Bank, где нужно угадать следующий вызов API, у неё 86,4 против 88,0, на разборе отзывов по аспектам ACOS - 26,7 против 27,3. Больше всего она отстаёт на When2Call: 67,0 против 74,6. Этот тест проверяет, когда вызвать инструмент, когда переспросить, когда ответить самой, а когда отказаться, - как раз то, на чём строятся роли выбора инструмента и остановки, на которые Snap рассчитана.
На Decision RULER, где 11 типов задач на поиск по длинному тексту, при 32K у Snap 99,8 против 94,1 у Jev. На 64K, 128K и 256K Snap держит 99,5-99,8, а в графе Jev для этих длин стоит N/A. В сводке анонса компания называет и 96,3 на Decision RULER при 1 млн токенов.
Decision LCR проверяет, умеет ли модель сводить вместе сведения из разных частей документа. На входах от 72K до 115K токенов Snap прочитала их целиком за один проход и набрала 74,0. Jev получила те же документы кусками и набрала 48,0.
Сколько стоит решение
Snap стоит 0,05 доллара за миллион входных токенов, выходные токены бесплатны. Схема та же, что у Jev, только за токен немного дороже: в сентябре TypeSafe поставила 0,042 доллара за миллион. Subquadratic описывает свою цену как «центы за решение».
Дальше компания видит модели выбора на месте части вызовов к большим моделям. Кодинг-агент, например, может отдать Snap выбор инструмента и проверку результата, а фронтирную LLM оставить для написания кода и длинных рассуждений. Самым смелым вариантом в анонсе названы крупные задачи, которые модель выбора в отдельных случаях закрывает сама.
Пока Snap доступна в публичном превью, и 384K - временный потолок: по словам компании, не хватает мощностей. У SubQ, построенной на том же SSA, окно 12 миллионов токенов.
Дальше
Google Play пускает самоделки из AI Studio на ваш телефон
Google Play убрал входной билет для самодельных приложений: то, что навайбкодили в Google AI Studio, запускается на вашем телефоне без аккаунта разработчика. В общий каталог оно при этом не попадает. Вам случалось собирать себе приложение, потому что нужного не нашлось в магазине?
Читайте также
- Gemini Decisions API берёт до 1 000 вопросов за вызов
- Jev обогнал OpenAI Decisions и Clef: 195 против 208 и 344 мс
- У Microsoft-Decision-1 выходные токены бесплатные
- AWS отдаёт свою модель-решалку вместе с рецептом обучения
- Jev от TypeSafe AI не берёт денег за выходные токены
- Модель Microsoft догнала GPT-6 Astra за 2% цены
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

