Бенчмарк Context7: минус около 99% входных токенов

Upstash, которая делает Context7, сравнила свой сервис со встроенными WebSearch и WebFetch в Claude Code на одних и тех же вопросах по документации. С Context7 запрос в среднем обошёлся на 34,56% дешевле и потратил на 36,81% меньше токенов, говорится в посте Upstash от 31 августа.

Главное в таблицах другое. Свежие входные токены (те, что модель читает впервые, без кеша) с Context7 упали примерно на 99% во всех пяти категориях. Но в счёт это почти не переходит: основная масса токенов в обоих режимах приходится на чтение из кеша промпта.

Как ставили опыт

Вопросы разбили на пять категорий, по 20 в каждой. Каждая проверяет отдельную слабость поиска:

• быстро меняющиеся библиотеки, где нужно выцепить актуальную версию API: «How do I use extended thinking with opus 4.7?»;
• нишевые продукты с маленьким следом в сети, многие вопросы про недавние компании из YC: где настраивать расписание функций в Notte;
• вопросы сразу про несколько библиотек: чем отличается поиск элементов по доступной роли в Playwright и Testing Library;
• популярные инструменты, вокруг которых много блогов, туториалов и сторонних материалов: как устроены файлы памяти в Claude Code и как их смотреть и править;
• вопросы без названия библиотеки, где её надо угадать по именам API: как relations(), one() и many() задают связи отдельно от схем таблиц.

Прогоняли всё через Claude Code Agent SDK. К каждому вопросу дописывали либо «Use web search. Use web fetch when needed.», либо «Use Context7.». Вопросы одной категории шли подряд, а между прогоном с Context7 и прогоном с веб-поиском делали паузу в 5 минут, чтобы кеширование промпта не перетекало из одного режима в другой. Модели стояли по умолчанию: Claude Opus 4.7 как основной агент, Claude Haiku 4.5 на вспомогательных задачах. Стоимость брали прямо из консоли Claude в момент каждого прогона. Все вопросы и результаты по каждому из них Upstash выложила в репозиторий бенчмарка.

Что агент получает в контекст

Context7 подтягивает документацию и примеры кода нужной версии из первоисточника и кладёт их агенту в контекст. В режиме MCP у агента два инструмента: resolve-library-id превращает обычное название библиотеки в идентификатор Context7, query-docs по этому идентификатору достаёт подходящие куски документации. Если в промпте уже стоит идентификатор вроде /supabase/supabase, первый шаг пропускается. Версию, упомянутую в запросе, например Next.js 16, сервис, судя по README проекта, сопоставляет с документацией этой версии сам. Есть и вариант без MCP: навык (skill) учит агента вызывать CLI-команды ctx7 library и ctx7 docs.

WebSearch и WebFetch, по версии Upstash, скорее всего возвращают крупные куски страниц целиком, и всё это попадает в контекст агента. Context7 отдаёт сжатый фрагмент документации. Отсюда и разница во входных токенах.

В Claude Code сервис подключается через claude mcp add: локально через npx @upstash/context7-mcp или удалённо по адресу https://mcp.context7.com/mcp. Правило в CLAUDE.md заставляет агента ходить в Context7 за документацией без отдельной просьбы. Сервис бесплатный, ключ из дашборда context7.com нужен только для более высоких лимитов запросов.

Куда делись 99%

Средние цифры на один запрос по всем 100 вопросам выглядят так. Веб-поиск: 38 403 свежих входных токена, 3 290 выходных, 10 686 на запись в кеш, 84 183 на чтение из кеша, всего 136 562 токена и 0,22 доллара. Context7: 387 входных, 1 544 выходных, 10 912 на запись в кеш, 71 436 на чтение, всего 84 278 токенов и 0,14 доллара.

Из примерно 52 тысяч токенов, которые Context7 экономит на запросе, около 38 тысяч приходятся на свежий ввод. Запись в кеш почти не изменилась, у Context7 она даже чуть больше. Чтение из кеша, крупнейшая статья в обоих режимах, сократилось на 13 тысяч токенов, примерно на 15%.

Upstash сама объясняет, почему экономия в деньгах меньше, чем в токенах. Агрессивное кеширование промпта делает повторный контекст дешёвым, а вспомогательные вызовы веб-поиска обрабатывает Claude Haiku 4.5, а не Opus. Эти механизмы частично гасят больший объём токенов, поэтому падение входных токенов на 99% не даёт пропорционального падения стоимости.

Выходных токенов с Context7 в среднем на 52,97% меньше. В Upstash связывают это с тем, что модели, вероятно, приходится меньше фильтровать и сводить воедино, когда в контексте меньше лишнего. Вызовов инструментов тоже стало меньше: 2,55 против 3,47 на запрос, минус 22,77%.

Где разрыв больше

Сильнее всего Context7 выиграл на нишевых библиотеках: стоимость ниже на 43,12%, токенов меньше на 50,19%. Веб-поиску там приходилось дольше искать нужный источник, в среднем 5,10 вызова инструментов на запрос против 2,25 у Context7.

Дальше идут вопросы без названия библиотеки: минус 36,94% по стоимости и 43,52% по токенам, 2,90 вызова против 2,05. Веб-поиск в итоге находил ту же цель, но, по описанию Upstash, через дополнительные разведочные вызовы. На вопросах про несколько библиотек экономия 35,60% по стоимости и 41,51% по токенам. Вызовов здесь у Context7 больше, чем в других категориях, 3,65 против 4,00 у веб-поиска, но каждый возвращает компактный срез, так что токенов всё равно меньше.

На быстро меняющихся библиотеках разница скромнее: 29,24% по стоимости и 27,12% по токенам. Меньше всего она на популярных инструментах: 27,89% по стоимости и 21,70% по токенам, а по вызовам почти поровну, 2,30 против 2,45. В Upstash этого и ожидали: популярные библиотеки веб-поиску найти проще.

Что осталось за рамками

Бенчмарк меряет только токены и деньги. В выводах Upstash утверждает, что Context7 даёт более точные ответы с меньшим числом галлюцинаций и отсекает вредоносный контент и инъекции в промпт, которые может принести открытый веб-поиск, но цифр по этому в посте нет. Отдельный бенчмарк качества ответов и безопасности компания обещает подготовить.

Замер провела сама Upstash на своём продукте. С инструментами экономии токенов для Claude Code независимая проверка уже давала другой результат: rtk обещал минус 60-90% токенов, а в июльском A/B-тесте JetBrains оказался на 7,6% дороже за задачу, и основную стоимость там тоже давал кеш.

«Экономия токенов и денег имеет смысл, только если качество поиска не падает», - пишут в Upstash.