Embed 5 от Cohere делит индекс и поиск между двумя моделями

Cohere 30 сентября представила семейство Embed 5 из двух моделей. Корпус индексирует Embed 5 Pro, а запросы к тем же векторам обрабатывает более быстрая и дешёвая Embed 5 Fast, и второй индекс при этом не нужен. На 40 наборах данных Cohere такая связка набрала 98,4 балла, если принять схему «Pro на индексации и на запросах» за 100.
Подробности релиза разобрал The New Stack, технические параметры собраны в changelog Cohere. Если поставить Fast и на индексацию, и на запросы, результат падает до 96,6. В набор вошли текст, изображения, комбинированные документы из текста и картинок и распарсенные документы. По словам Cohere, ни на одном отдельном наборе связка Pro и Fast не дала серьёзной просадки.
Одно пространство на две модели
Эмбеддинг-модель переводит текст или картинку в вектор, и поиск отдаёт фрагменты, чьи векторы ближе всего к вектору вопроса. Раньше команда выбирала одну модель на всё, и качество индекса тянуло в одну сторону, а скорость запросов в другую. Embed 5 разводит этот выбор. В changelog Pro описана как модель для максимального качества поиска, прежде всего для офлайн-индексации, а Fast рассчитана на низкую задержку и высокую пропускную способность: интерактивный поиск, агентные циклы, большой поток запросов.
Связка работает потому, что Pro и Fast пишут векторы в общее пространство. Размерности совпадают, векторы совместимы, поэтому модель на стороне запросов можно сменить без переэмбеддинга корпуса. По словам Cohere, смешивать модели можно и после матрёшечного усечения, и после int8-квантизации.
Pro стоит 0,12 доллара за миллион токенов, Fast 0,08 доллара. Токены изображений у обеих моделей стоят одинаково, 0,40 доллара за миллион. В тестах Cohere пропускная способность Fast по документам в среднем в 2,4 раза выше, чем у Pro.
Cohere советует индексировать на Pro, а запросы отдавать Fast, особенно в RAG и агентах, где задержка накапливается из-за того, что одни и те же данные ищут снова и снова. В таких системах документы попадают в индекс реже, чем по ним ищут: Pro обрабатывает поток новых документов, а Fast берёт на себя куда более тяжёлый поток запросов.
Сколько места займут векторы
Обе модели выдают векторы шести размерностей: 256, 512, 768, 1024, 1536 и 2048, в форматах float32, int8 и binary. Размерность меняют матрёшечным усечением: модель обучена так, что начало вектора само по себе остаётся рабочим эмбеддингом, и хвост можно отрезать.
На масштабе разница в хранении заметная. Cohere приводит расчёт: вектор на 2048 измерений во float32 весит 8 КБ, а корпус из 100 миллионов фрагментов займёт около 819 ГБ. С вектором на 1024 измерения в int8 тот же корпус ужимается примерно до 102 ГБ. Бинарный вектор на 256 измерений доводит его примерно до 3,2 ГБ.
Для большинства внедрений Cohere рекомендует 1024 измерения в int8: по памяти и диску выходит заметно дешевле, а качество поиска близко к полной точности. Бинарные векторы сжимают сильнее, но теряют в точности, и компания предлагает ставить их на первую стадию отбора, а потом переранжировать кандидатов с более высокой точностью.
Картинки, PDF и сто языков
Embed 5 принимает текст, изображения и комбинированные входы из текста и картинки, работает с более чем сотней языков и держит контекст в 128K токенов. Изображение страницы можно эмбеддить напрямую, а можно объединить картинку и текст в один вектор.
Цифры ниже приводит Cohere:
- комбинированные текст и изображение, пять наборов данных: Pro 82,3, Fast 81,2, Gemini Embedding 2 от Google 61,3;
- распарсенные PDF: Pro 84,8, Voyage 4 Large 83,6, Fast 83,4, Gemini Embedding 2 80,8;
- ViDoRe V3 на распарсенном тексте, который подготовили авторы бенчмарка, а не на изображениях страниц: Pro 85,8, Fast 84,5, Voyage 4 Large 83,7, Gemini Embedding 2 83,2, прошлая Embed 4 77;
- финансовые документы: Pro набирает 80,1 на FinanceBench и 90,0 на FinQA.
В многоязычных тестах расклад ровнее, и The New Stack обращает на это внимание на фоне недавнего захода Cohere в машинный перевод. Pro лидирует по среднему на пяти европейских языках с 77 баллами, у Voyage 4 Large 76, у Gemini Embedding 2 73. Но в девяти отдельных тестах Pro уступает Gemini Embedding 2.
Что меряет RCP-nDCG@10
Embed 5 стала первым семейством Cohere, которое оценивали по RCP-nDCG@10. Эта метрика использует критерии релевантности под каждый запрос вместо фиксированной разметки. В Cohere говорят, что так ловятся релевантные результаты, которые пропустила исходная разметка бенчмарков. Однако RCP-nDCG@10 оценивает переранжирование фиксированного набора кандидатов, а первую стадию поиска по всему корпусу она не покрывает.
Первую стадию Cohere оценивала отдельно, стандартными nDCG и Recall. Тесты на комбинированный текст с изображениями, на изображения страниц и на смешивание моделей идут на стандартном nDCG@10. Поэтому баллы из разных оценок напрямую сравнивать нельзя.
Индексация отдельно, запросы отдельно
Главным изменением в Embed 5 The New Stack считает возможность решать вопросы индексации и обслуживания запросов как две отдельные инфраструктурные задачи. Один и тот же корпус индексируется ради качества поиска, а путь запроса настраивается на пропускную способность и задержку, и поддерживать два представления данных не нужно.
При этом 98,4 - среднее по собственному набору тестов Cohere. Издание советует сравнить связку Pro и Fast со схемой «Pro на всё» на своём корпусе и на реальном распределении запросов, прежде чем переводить продакшен-RAG или агентов на Fast, особенно там, где ошибка поиска может протянуться через несколько шагов агентного сценария.
Обе модели доступны через API Cohere и Model Vault, а также через Microsoft Foundry и Amazon SageMaker. Развёртывание в приватном VPC и on-premises поддерживается через vLLM.
Дальше
Навыкам Claude на телефоне прочат отдельное меню вложений
По данным Testing Catalog в Threads, навыки Claude в мобильном приложении получат отдельное меню вложений в чате. Anthropic об этом не объявляла, хотя автор утечки уверен, что так пользоваться ими станет проще.
Читайте также
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

