Перейти к содержанию

Релизы моделей

Модель выбора SubQ Snap берёт 384K токенов вместо 32K

6 мин чтения

Текст написан ИИ-моделью по источникам, на которые ведут ссылки, и сверен с ними второй моделью. Как мы работаем

Изображение: zeniteq.com

12 октября Subquadratic открыла публичное превью SubQ Snap. Это модель выбора для агентов: за один вызов она читает до 384K токенов текста и изображений и только после этого выбирает ответ. Jev от TypeSafe, с которой Snap сравнивают во всех таблицах, видит 32K токенов на одно решение.

В анонсе Subquadratic называет Snap первой моделью выбора, которая забирает настоящую работу у фронтирных LLM. Сейчас такие модели в основном работают рядом с LLM: оценивают её ответы или решают, какой модели отдать задачу. По данным компании, запрос на 100K токенов Snap обрабатывает примерно за секунду, а на сводном Decision Index v0.2.1 обходит Jev на четыре пункта. Все сравнения Subquadratic провела сама.

Зачем модели выбора длинный вход

Модель выбора получает контекст, вопрос и список допустимых ответов. Текст она не пишет: для каждого варианта она выдаёт вероятность. Так агент решает, какие файлы относятся к делу, какой инструмент вызвать следующим, прошёл ли тест и какой шаг стоит отдать большой модели. Subquadratic называет такое сужение «специализацией». Генерации нет, поэтому не нужно платить временем и деньгами за текст, который приложению всё равно не нужен.

Сам интерфейс не привязан к архитектуре. У Laya, Decider от Perplexity и Jev он одинаковый: вопрос, конечный набор ответов, структурированный прогноз. А устроены они по-разному. Laya ставит решающую «голову» поверх двунаправленного энкодера, а Decider v1.1 - предобученная языковая модель, переделанная под некаузальное внимание. Как замечает The New Stack, с середины сентября, когда TypeSafe показала Jev, в эту тему включились OpenAI, Perplexity, Cloudflare, Amazon и Microsoft. Там же 13 октября вышел материал о том, как Workday через Jev собирает интерфейс ассистента Sana прямо на ходу: по запросу сотрудника модель выбирает готовые компоненты, например карточку зарплаты или выбор даты.

Генеральный директор и сооснователь Subquadratic Алекс Уидон в переписке с The New Stack признаёт, что Snap делали с оглядкой на Jev, потому что модели выбора «очень точно совпадают с нашим тезисом». «Для части задач модели выбора убирают необходимость в декодировании», - говорит он. Нынешнюю роль таких моделей он считает слишком узкой: «Мы видим, что у моделей выбора нет видения. Они становятся интересными, когда действительно забирают работу у фронтирных LLM».

Почему контекст упирается в 32K, Subquadratic объясняет через стоимость чтения. Варианты ответа заранее известны, но выбор даже между тремя инструментами может зависеть от того, что разбросано по всему репозиторию или по длинной истории вызовов. У модели выбора почти весь инференс приходится на префилл: модель читает вход. Без генерации пропадает стоимость выхода, а стоимость входа остаётся. При плотном внимании она растёт квадратично: вдвое длиннее контекст - вчетверо больше вычислений на внимание. На длинном входе так съедается экономия, ради которой модель выбора и ставят в цикл агента.

Обходные пути известны: RAG, нарезка на куски, суммаризация, обрезка. Каждый из них заранее решает, что модель увидит, а что нет. В компании приводят примеры потерь: при обрезке пропадает ограничение, которое пользователь задал за 40 ходов до этого, поиск может пропустить нужные сведения, а суммаризация - выкинуть детали, которые потом окажутся важны. Snap рассчитана на четыре роли в цикле агента: маршрутизацию, выбор инструмента, проверку и остановку.

Как устроена Snap

Каждая из двух частей отвечает за свою половину стоимости. Чтение длинного входа берёт на себя Subquadratic Sparse Attention (SSA), разреженное внимание, которое компания представила в начале года вместе с SubQ. По её словам, SubQ стала первой полностью субквадратичной LLM. Плотное внимание сравнивает каждый токен с каждым. SSA сравнивает только самые важные пары токенов, и, по словам Subquadratic, квадратичный рост превращается примерно в линейный.

Пары подбираются по содержимому, а не по заранее заданному позиционному шаблону, как в прежних работах о разреженном внимании. Уидон описывал это так: «Для промпта A важными друг для друга окажутся первое и шестое слово. Для промпта B, может быть, второе и третье. Для каждого промпта по-разному». Кроме того, сам механизм отбора не скатывается в квадратичность на этапе индексации. В Native Sparse Attention от DeepSeek индексатор, который решает, на какие токены смотреть, внутри оставался квадратичным.

Вторая часть - решающая «голова». Она переводит представления, полученные после чтения, прямо в распределение вероятностей по допустимым ответам, без авторегрессивной генерации. Вход может смешивать текст и картинки: скриншоты, графики, диаграммы и сканы читаются вместе с документами и логами вокруг них. Компания называет такие связки: репозиторий с логами, договор с приложениями.

Первая модель на SSA, SubQ, вышла вместе с посевным раундом на 29 миллионов долларов. На миллионе токенов она, по заявлению компании, работает примерно в 52 раза быстрее FlashAttention.

Где Snap выигрывает у Jev

На публичном наборе Decision Index, где все запросы короче 34K токенов, у Snap 61,7 против 57,9 у Jev. Из пяти подобластей она лидирует в четырёх: искусство и человеческий вкус (+12,11), понимание языка (+7,46), поиск и классификация (+6,27), инструменты и автоматизация (+3,39). На Nimble Suite 13 от Bespoke Labs, где 13 наборов задач на выбор, Snap набирает 82,9% против 76,0%.

Отдельно компания выделила из Decision Index 16 тестов, которые, по её мнению, ближе всего к корпоративной работе. Средний балл у Snap 67,54 против 61,6 у Jev, впереди она в 13 тестах из 16. Крупнее всего разрыв в распознавании фишинга на PhishNChips: 47,1 против 25,1. Дальше идут предсказание вывода кода на CRUXEval (73,8 против 57,1), поиск галлюцинаций в RAG на RAGTruth (64,8 против 51,3), тональность упоминаний компаний в финансовых новостях на FinEntity (92,8 против 80,8) и разбор пунктов NDA целиком на ContractNLI (70,7 против 59,1).

Проигрывает Snap в трёх тестах. На API-Bank, где нужно угадать следующий вызов API, у неё 86,4 против 88,0, на разборе отзывов по аспектам ACOS - 26,7 против 27,3. Больше всего она отстаёт на When2Call: 67,0 против 74,6. Этот тест проверяет, когда вызвать инструмент, когда переспросить, когда ответить самой, а когда отказаться, - как раз то, на чём строятся роли выбора инструмента и остановки, на которые Snap рассчитана.

На Decision RULER, где 11 типов задач на поиск по длинному тексту, при 32K у Snap 99,8 против 94,1 у Jev. На 64K, 128K и 256K Snap держит 99,5-99,8, а в графе Jev для этих длин стоит N/A. В сводке анонса компания называет и 96,3 на Decision RULER при 1 млн токенов.

Decision LCR проверяет, умеет ли модель сводить вместе сведения из разных частей документа. На входах от 72K до 115K токенов Snap прочитала их целиком за один проход и набрала 74,0. Jev получила те же документы кусками и набрала 48,0.

Сколько стоит решение

Snap стоит 0,05 доллара за миллион входных токенов, выходные токены бесплатны. Схема та же, что у Jev, только за токен немного дороже: в сентябре TypeSafe поставила 0,042 доллара за миллион. Subquadratic описывает свою цену как «центы за решение».

Дальше компания видит модели выбора на месте части вызовов к большим моделям. Кодинг-агент, например, может отдать Snap выбор инструмента и проверку результата, а фронтирную LLM оставить для написания кода и длинных рассуждений. Самым смелым вариантом в анонсе названы крупные задачи, которые модель выбора в отдельных случаях закрывает сама.

Пока Snap доступна в публичном превью, и 384K - временный потолок: по словам компании, не хватает мощностей. У SubQ, построенной на том же SSA, окно 12 миллионов токенов.

AI-индустрияGoogle

Google Play пускает самоделки из AI Studio на ваш телефон

Google Play убрал входной билет для самодельных приложений: то, что навайбкодили в Google AI Studio, запускается на вашем телефоне без аккаунта разработчика. В общий каталог оно при этом не попадает. Вам случалось собирать себе приложение, потому что нужного не нашлось в магазине?

Пока никто не написал. Будьте первым.

Присоединяйтесь к разговору

Войдите, чтобы оставить комментарий. Он появится после модерации.