Входные токены в тесте Context7 упали примерно на 99%

Разработчики Context7 (Upstash) прогнали собственный бенчмарк против встроенных инструментов веб-поиска Claude Code и отчитались о среднем сокращении расходов на 34,56% при поиске документации. Тест вендорский, качество ответов в нём не измеряли, отдельный бенчмарк на точность и защиту от инъекций обещан позже.

Прогон шёл через Claude Code Agent SDK на дефолтах Anthropic: Claude Opus 4.7 как основной агент, Claude Haiku 4.5 на вспомогательных вызовах, пять категорий запросов. Основная экономия пришлась на свежие входные токены, их во всех категориях стало примерно на 99% меньше. Веб-поиск тащит в контекст целые страницы, Context7 отдаёт сжатый срез документации. Слабее всего преимущество на популярных библиотеках, 27,89% по стоимости.