Перейти к содержанию

Бенчмарки

Claude, GPT и Gemini всегда ставят Sentry и Playwright

4 мин чтения

Наш ИИ-аналитик сам проверил эту историю: запускал, считал, сверял с оригиналами. Что мы проверили

Текст написан ИИ-моделью по источникам, на которые ведут ссылки, и сверен с ними второй моделью. Как мы работаем

Всё о теме: Агенты для программирования →
Изображение: installrate.com

В 600 ответах на задачи сборки, где ни один продукт не назван, Claude, GPT и Gemini единогласно, в 100% случаев, выбрали два инструмента: Sentry для мониторинга ошибок и Playwright для E2E-тестов. Это следует из рейтинга InstallRate по прогону 2 ноября. Если стек выбирает модель, эти две строки в такой выборке предрешены, но речь идёт о разовых ответах через API, а остальные расхождения между моделями держатся примерно на 10 ответах на модель в категории: из 19 таких расхождений, которые мы проверили, за пределы выборочного шума выходит всего одно.

Где модели сходятся

Stripe в платежах первым ставят 80% ответов у каждой из трёх моделей. Postgres чаще всего уезжает в Neon: 67% в целом, у Claude 80%, у GPT и Gemini по 60%. PostHog в продуктовой аналитике набрал 93%, shadcn/ui среди UI-библиотек 63%, Drizzle среди ORM 53%. Долей InstallRate называет продукт, который ответ установил первым, от всех ответов в категории.

Datadog модели упомянули 9 раз и не установили ни разу. Radix UI назван 11 раз, а выбор уходит к shadcn/ui. Cloudflare R2 модели упоминают, а потом ставят AWS SDK: S3 идёт первым в 57% ответов про объектное хранилище. В деплое у Vercel 12 установок, у Netlify, Railway, Render и Fly.io ни одной, при этом каждую из четырёх платформ упомянули по два раза, и все упоминания от Claude. Эти счёты мы сверили с сырыми данными, и они сходятся. «Упомянут» здесь значит, что продукт встретился где угодно в ответе, включая альтернативы и комментарии в коде.

Где модели расходятся

По таблице рейтинга Claude в логировании первым ставит OpenTelemetry (50%), а GPT берёт связку Grafana, Loki и Prometheus (60%). Во флагах функций таблица показывает у Claude Vercel Flags, у GPT LaunchDarkly, у Gemini PostHog (50%). В наблюдаемости LLM-приложений Gemini выбирает LangSmith (50%), Claude и GPT - Langfuse.

Такие пары мы прогнали через точный тест Фишера, стандартную проверку того, не случайна ли разница между двумя маленькими выборками. OpenTelemetry у Claude в 5 ответах из 10 против 1 у GPT дал p = 0,141, PostHog во флагах у Gemini, 5 из 10 против 2 у Claude, дал p = 0,350. Единственное расхождение вне шума касается pgvector: 6 из 10 у GPT и 0 из 10 у Gemini, p = 0,011.

Тест исходит из того, что ответы независимы, а дизайн прогона выполняет это условие не полностью. «Около 10 ответов на модель» складываются из пяти промптов, каждый из которых прогнан дважды, и в 264 парах из 300 (88%) оба прогона одного промпта дали одинаковый первый выбор. Реальная выборка на модель ближе к пяти промптам, поэтому почти все счёты в данных чётные.

Что значит «установил»

Каждый ответ получен одним запросом к API с системным промптом «You are a coding agent…», температурой 1,0 и лимитом 2000 токенов на выход. Отвечали anthropic/claude-sonnet-5.5, openai/gpt-5.6-terra и google/gemini-3.1-pro-preview. Код никто не запускает: выбор извлекается из текста. Из 600 выборов 494 взяты из команды установки, 19 из CLI-команды, 6 из импорта, 24 разметила «небольшая модель», один взят из прозы, а в 56 ответах выбора нет вовсе. Чаще других ничего не ставит Claude: 26 таких ответов против 16 у GPT и 14 у Gemini. Сам InstallRate пишет, что ответы API «не то же самое, что полноценный агент в вашей IDE» вроде Claude Code, Cursor или Codex, и обещает следующими агентные прогоны.

Авторский разбор

Что мы проверили

5 ноября мы пересчитали первый выбор каждой модели по сырым ответам прогона и сверили результат с таблицей рейтинга и страницами категорий.

Как мы проверяем истории

Общие доли и счёты «назван, но не установлен» подтвердились. Но колонки моделей показывают одно имя там, где в данных ничья: так в 9 категориях из 20, и в четырёх из них чаще всего модель не ставила ничего. Поэтому расхождение между моделями в одной клетке сводной таблицы может оказаться ничьей, которая видна только на странице категории.

ГдеВ таблице рейтингаВ сырых данных
Фоновые задачи, все три моделиBullMQ / Bull 40%BullMQ и Celery по 4 из 10 у каждой модели, по 12 из 30 в целом
Флаги функций, GPTLaunchDarkly 30%ничья: LaunchDarkly 3, PostHog flags 3
Realtime, ClaudeAbly 20%пятеро по 2 из 10: Ably, ws, Socket.IO, Django Channels и «ничего»
Векторные базы, GeminiPinecone 20%чаще всего ничего (3 из 10), Pinecone, Chroma и Qdrant по 2, pgvector ни разу не упомянут
Supabaseупомянут, не установленверно только для хостинга Postgres (4 упоминания, 0 установок); Supabase Auth стоит в 3 ответах про авторизацию, Supabase Realtime в 4 ответах GPT, где делит первое место с Socket.IO
ПочтаResend 16, Postmark 4, Mailgun 0второе место у Nodemailer, 7

Celery и BullMQ разводит стек промпта: на промптах для Node и TypeScript первым всегда шёл BullMQ, на промптах для Django и FastAPI всегда Celery. В октябре похожее было и на другом табло, где Heroku появлялся только на Python-промптах: в 14 из 30 запусков против 0 из 29 на Next.js.

Любую клетку рейтинга лучше читать вместе с интервалом со страницы категории. При 3 ответах из 10 интервал Уилсона, диапазон, где с уверенностью 95% лежит настоящая доля, тянется от 11 до 60%.

OpenAIOpenAI

OpenAI покупает Pierre, чьи Trees и Diffs уже стоят в Codex

Файлы и правки в приложении Codex давно показывают библиотеки стартапа Pierre, и OpenAI покупает его целиком вместе с сервисом Code Storage для хранения кода в Git. Axios вписывает сделку в гонку за место GitHub. Код у вас живёт на GitHub или уже переехал на другую платформу?

Пока никто не написал. Будьте первым.

Присоединяйтесь к разговору

Войдите, чтобы оставить комментарий. Он появится после модерации.