Claude Code и две бесплатные модели не сошлись на Next.js

Claude Code и две бесплатные модели в OpenCode, DeepSeek V4.1 Flash и GLM 5.3 Flash, получили одинаковые промпты на выбор ORM, деплоя и почты и сошлись на главном инструменте в 2 из 3 категорий на Python и ни в одной на Next.js, следует из табло Whatagentspick, обновлённого 27 октября. Разрыв по деплою, Heroku в 14 из 30 Python-запусков против 0 из 29 на Next.js, по нашему пересчёту сырых данных целиком состоит из запусков, где агент записал и Procfile, и Dockerfile, а детектор засчитал Procfile как Heroku; Fly.io на Python появлялся только на одной из трёх формулировок промпта.
Claude Code работал на Opus 5.5, Sonnet 5.5 и Haiku 5.5, по 6 запусков у каждой, итого 18 на ячейку (категория на стеке) за 11,21 доллара. DeepSeek и GLM шли через OpenCode на бесплатном тарифе, всего по 6 запусков на ячейку; 3 из 72 таких запусков задачу даже не начали и в счёт не вошли. Промпты, стартовые проекты и детектор, который определяет выбор по изменённым файлам, у всех общие. Автор табло просит читать маленькие выборки как наводку, а сырые запуски выложил на GitHub.
Бесплатные модели работали с потолком в 12 шагов, и по нашему подсчёту в него упёрлись 13 из 36 запусков DeepSeek и столько же у GLM. По README, Claude шёл по тем же правилам остановки, но числа для его лимита методология не называет, там сказано только про лимит ходов, токенов или времени; на нём остановились 22 из 108 запусков. К тому же Claude гоняли 17-18 октября, а DeepSeek и GLM в день обновления табло, через OpenCode 1.19.4.
Где Next.js развёл модели
На Python SQLAlchemy выбрали Claude в 18 запусках из 18, DeepSeek в 6 из 6 и GLM в 4 из 5. Почту все трое чаще всего отправляли голым SMTP: Claude в 17 из 18, DeepSeek в 5 из 5, GLM в 5 из 6. Resend на Python не появился ни разу из 29 запусков, голый SMTP набрал 27 из 29.
Next.js не дал ни одного совпадения. В ORM Claude взял Drizzle в 12 запусках из 18, GLM в 5 из 6, а у DeepSeek ничья Drizzle и Prisma, по 2 из 6. В деплое у Claude голый Docker в 14 из 18, у DeepSeek ничья Fly.io и Docker по 2 из 5, у GLM по 3 из 6 у Docker и варианта, который табло называет «built its own». В почте Claude выбрал Resend в 11 из 18, GLM голый SMTP в 4 из 6, у DeepSeek ничья SMTP и Resend по 3 из 6; всего Resend на Next.js набрал 16 из 30.
Тонкие полоски отдельных моделей Claude в табло показывают у каждой её собственный главный выбор. По нашему пересчёту, Resend на Next.js взяли Opus в 4 запусках из 6, Haiku в 5 из 6 и Sonnet в 2 из 6, так что подпись «sonnet 4/6» относится к голому SMTP. Разница стеков в почте отчасти механическая, и это наш вывод, не замер: на Python голый SMTP детектор находит по импорту smtplib из стандартной библиотеки, ставить ничего не нужно, а на Next.js тот же путь требует пакета nodemailer.
Ничья Heroku и Docker у Claude на Python, по 7 из 18, складывается из трёх разных предпочтений, показал наш разбор по моделям. Opus 5.5 выбрал Heroku в 4 запусках из 6 и Fly.io в 2, Sonnet 5.5 голый Docker в 3, Fly.io в 2 и Heroku в 1, Haiku 5.5 Docker в 4 и Heroku в 2. У DeepSeek Heroku в 3 из 6, у GLM в 4 из 6.
В исследовании Amplifying было 2 430 открытых промптов к Claude Code без единого названия инструмента, на Sonnet 4.5, Opus 4.5 и Opus 4.6. Авторы пришли к выводу, что контекст проекта значит больше формулировки: деплой уходил в Vercel на Next.js и в Railway на Python, а при пяти формулировках одного запроса выбор в среднем держался на 76%. В табло Whatagentspick детектор не засчитал ни Vercel, ни Railway ни разу. А по нашему разбору ниже, между Fly.io и Heroku на Python решала формулировка промпта, тогда как от стека зависело, появится ли Procfile вообще.
Авторский разбор
Что мы проверили
28 октября мы скачали сырые запуски с GitHub, пересчитали каждую ячейку по моделям, разобрали, какие изменённые файлы детектор засчитал как выбор, и сравнили доли точным тестом Фишера, стандартной проверкой для маленьких выборок.
Все сводные цифры табло, включая 11,21 доллара за Claude, сошлись с сырыми данными, но два ярлыка значат не то, что читается. «Heroku» на Python табло подаёт как выбор хостинга, а за ним в каждом случае стоит Procfile (файл со списком процессов приложения) поверх Dockerfile, и между ним и Fly.io решала формулировка промпта. «Built its own» у GLM на Next.js - запуски, которые упёрлись в лимит шагов, так ничего для деплоя и не написав. Ни одно из расхождений между Claude и бесплатными моделями тест не отличает от случайности: p везде выше 0,1, на 6 запусках разницу не увидеть, есть она или нет.
| Расхождение | Claude | DeepSeek | p | GLM | p |
|---|---|---|---|---|---|
| Drizzle, Next.js | 12/18 | 2/6 | 0,19 | 5/6 | 0,63 |
| Docker, Next.js | 14/18 | 2/5 | 0,14 | 3/6 | 0,31 |
| Resend, Next.js | 11/18 | 3/6 | 0,67 | 2/6 | 0,36 |
| Heroku, Python | 7/18 | 3/6 | 0,67 | 4/6 | 0,36 |
- Все 14 выборов Heroku (7 у Claude, 3 у DeepSeek, 4 у GLM) - запуски, где в изменениях есть и Procfile, и Dockerfile, а детектор считает Procfile более сильным признаком. Heroku упоминают только 8 из 14 финальных сообщений агентов, в 10 из 14 рядом названы Render, Railway или оба. Procfile читают также Railway, Render и Dokku, поэтому, по нашему выводу, «Heroku» здесь означает скорее описание процессов в стиле Procfile, чем настройку под конкретный хостинг.
- Три запуска GLM с «built its own» на Next.js остановились на 12-м шаге без единого признака деплоя: меняли файлы вроде tsconfig.json, package-lock.json и next.config.ts и называли в финальном сообщении Vercel. По README ярлык ставится, когда сторонний пакет для категории не добавлен, и под него попадает запуск, который для деплоя не сделал ничего. Два таких запуска DeepSeek устроены так же, один обрывается служебными тегами.
- Формулировка «Хочу, чтобы это работало в публичном интернете. Настрой конфигурацию деплоя и скажи, что запустить, чтобы выкатить» дала Fly.io в 6 запусках из 10 на Python и в 6 из 10 на Next.js, Heroku ни разу. Две другие дали Heroku в 14 из 20 Python-запусков и ни одного Fly.io. На этой формулировке на Python Opus, Sonnet и DeepSeek выбрали Fly.io в 2 запусках из 2, Haiku и GLM голый Docker в 2 из 2. Resend на Next.js тоже зависит от слов промпта: 7, 6 и 3 из 10 на трёх формулировках.
Дальше
В мирах Genie 4 от Google DeepMind появились звук и речь, Видео
Google DeepMind называет Genie 4 своей первой моделью мира реального времени, которая сама генерирует звук, а персонажи в ней разговаривают и реагируют на ваши действия на лету. Доступ пока есть только у доверенных тестировщиков. Вы бы сначала погуляли по такому миру или сразу заговорили с его персонажами?
Читайте также
- Claude, GPT и Gemini всегда ставят Sentry и Playwright
- Revolut перевела около 2 000 инженеров с Claude Code на GLM
- Super-agent от DeepSeek сам чинит баги, замеченные в чате
- Тот же результат, вдвое дороже: Claude Code против Codex
- Четыре модели Claude в связке дали 78% на Terminal-Bench
- Аудит сессии Claude: 7,5 млн токенов и 4038 вызовов
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

