Перейти к содержанию

Релизы моделей

Embed 5 от Cohere делит индекс и поиск между двумя моделями

5 мин чтения

Текст написан ИИ-моделью по источникам, на которые ведут ссылки, и сверен с ними второй моделью. Как мы работаем

Изображение: thenewstack.io

Cohere 30 сентября представила семейство Embed 5 из двух моделей. Корпус индексирует Embed 5 Pro, а запросы к тем же векторам обрабатывает более быстрая и дешёвая Embed 5 Fast, и второй индекс при этом не нужен. На 40 наборах данных Cohere такая связка набрала 98,4 балла, если принять схему «Pro на индексации и на запросах» за 100.

Подробности релиза разобрал The New Stack, технические параметры собраны в changelog Cohere. Если поставить Fast и на индексацию, и на запросы, результат падает до 96,6. В набор вошли текст, изображения, комбинированные документы из текста и картинок и распарсенные документы. По словам Cohere, ни на одном отдельном наборе связка Pro и Fast не дала серьёзной просадки.

Одно пространство на две модели

Эмбеддинг-модель переводит текст или картинку в вектор, и поиск отдаёт фрагменты, чьи векторы ближе всего к вектору вопроса. Раньше команда выбирала одну модель на всё, и качество индекса тянуло в одну сторону, а скорость запросов в другую. Embed 5 разводит этот выбор. В changelog Pro описана как модель для максимального качества поиска, прежде всего для офлайн-индексации, а Fast рассчитана на низкую задержку и высокую пропускную способность: интерактивный поиск, агентные циклы, большой поток запросов.

Связка работает потому, что Pro и Fast пишут векторы в общее пространство. Размерности совпадают, векторы совместимы, поэтому модель на стороне запросов можно сменить без переэмбеддинга корпуса. По словам Cohere, смешивать модели можно и после матрёшечного усечения, и после int8-квантизации.

Pro стоит 0,12 доллара за миллион токенов, Fast 0,08 доллара. Токены изображений у обеих моделей стоят одинаково, 0,40 доллара за миллион. В тестах Cohere пропускная способность Fast по документам в среднем в 2,4 раза выше, чем у Pro.

Cohere советует индексировать на Pro, а запросы отдавать Fast, особенно в RAG и агентах, где задержка накапливается из-за того, что одни и те же данные ищут снова и снова. В таких системах документы попадают в индекс реже, чем по ним ищут: Pro обрабатывает поток новых документов, а Fast берёт на себя куда более тяжёлый поток запросов.

Сколько места займут векторы

Обе модели выдают векторы шести размерностей: 256, 512, 768, 1024, 1536 и 2048, в форматах float32, int8 и binary. Размерность меняют матрёшечным усечением: модель обучена так, что начало вектора само по себе остаётся рабочим эмбеддингом, и хвост можно отрезать.

На масштабе разница в хранении заметная. Cohere приводит расчёт: вектор на 2048 измерений во float32 весит 8 КБ, а корпус из 100 миллионов фрагментов займёт около 819 ГБ. С вектором на 1024 измерения в int8 тот же корпус ужимается примерно до 102 ГБ. Бинарный вектор на 256 измерений доводит его примерно до 3,2 ГБ.

Для большинства внедрений Cohere рекомендует 1024 измерения в int8: по памяти и диску выходит заметно дешевле, а качество поиска близко к полной точности. Бинарные векторы сжимают сильнее, но теряют в точности, и компания предлагает ставить их на первую стадию отбора, а потом переранжировать кандидатов с более высокой точностью.

Картинки, PDF и сто языков

Embed 5 принимает текст, изображения и комбинированные входы из текста и картинки, работает с более чем сотней языков и держит контекст в 128K токенов. Изображение страницы можно эмбеддить напрямую, а можно объединить картинку и текст в один вектор.

Цифры ниже приводит Cohere:

  • комбинированные текст и изображение, пять наборов данных: Pro 82,3, Fast 81,2, Gemini Embedding 2 от Google 61,3;
  • распарсенные PDF: Pro 84,8, Voyage 4 Large 83,6, Fast 83,4, Gemini Embedding 2 80,8;
  • ViDoRe V3 на распарсенном тексте, который подготовили авторы бенчмарка, а не на изображениях страниц: Pro 85,8, Fast 84,5, Voyage 4 Large 83,7, Gemini Embedding 2 83,2, прошлая Embed 4 77;
  • финансовые документы: Pro набирает 80,1 на FinanceBench и 90,0 на FinQA.

В многоязычных тестах расклад ровнее, и The New Stack обращает на это внимание на фоне недавнего захода Cohere в машинный перевод. Pro лидирует по среднему на пяти европейских языках с 77 баллами, у Voyage 4 Large 76, у Gemini Embedding 2 73. Но в девяти отдельных тестах Pro уступает Gemini Embedding 2.

Что меряет RCP-nDCG@10

Embed 5 стала первым семейством Cohere, которое оценивали по RCP-nDCG@10. Эта метрика использует критерии релевантности под каждый запрос вместо фиксированной разметки. В Cohere говорят, что так ловятся релевантные результаты, которые пропустила исходная разметка бенчмарков. Однако RCP-nDCG@10 оценивает переранжирование фиксированного набора кандидатов, а первую стадию поиска по всему корпусу она не покрывает.

Первую стадию Cohere оценивала отдельно, стандартными nDCG и Recall. Тесты на комбинированный текст с изображениями, на изображения страниц и на смешивание моделей идут на стандартном nDCG@10. Поэтому баллы из разных оценок напрямую сравнивать нельзя.

Индексация отдельно, запросы отдельно

Главным изменением в Embed 5 The New Stack считает возможность решать вопросы индексации и обслуживания запросов как две отдельные инфраструктурные задачи. Один и тот же корпус индексируется ради качества поиска, а путь запроса настраивается на пропускную способность и задержку, и поддерживать два представления данных не нужно.

При этом 98,4 - среднее по собственному набору тестов Cohere. Издание советует сравнить связку Pro и Fast со схемой «Pro на всё» на своём корпусе и на реальном распределении запросов, прежде чем переводить продакшен-RAG или агентов на Fast, особенно там, где ошибка поиска может протянуться через несколько шагов агентного сценария.

Обе модели доступны через API Cohere и Model Vault, а также через Microsoft Foundry и Amazon SageMaker. Развёртывание в приватном VPC и on-premises поддерживается через vLLM.

Пока никто не написал. Будьте первым.

Присоединяйтесь к разговору

Войдите, чтобы оставить комментарий. Он появится после модерации.