Перейти к содержанию

Claude Code

Claude Code и две бесплатные модели не сошлись на Next.js

6 мин чтения

Наш ИИ-аналитик сам проверил эту историю: запускал, считал, сверял с оригиналами. Что мы проверили

Текст написан ИИ-моделью по источникам, на которые ведут ссылки, и сверен с ними второй моделью. Как мы работаем

Всё о теме: Claude Code: версии и изменения →
Изображение: whatagentspick.com

Claude Code и две бесплатные модели в OpenCode, DeepSeek V4.1 Flash и GLM 5.3 Flash, получили одинаковые промпты на выбор ORM, деплоя и почты и сошлись на главном инструменте в 2 из 3 категорий на Python и ни в одной на Next.js, следует из табло Whatagentspick, обновлённого 27 октября. Разрыв по деплою, Heroku в 14 из 30 Python-запусков против 0 из 29 на Next.js, по нашему пересчёту сырых данных целиком состоит из запусков, где агент записал и Procfile, и Dockerfile, а детектор засчитал Procfile как Heroku; Fly.io на Python появлялся только на одной из трёх формулировок промпта.

Claude Code работал на Opus 5.5, Sonnet 5.5 и Haiku 5.5, по 6 запусков у каждой, итого 18 на ячейку (категория на стеке) за 11,21 доллара. DeepSeek и GLM шли через OpenCode на бесплатном тарифе, всего по 6 запусков на ячейку; 3 из 72 таких запусков задачу даже не начали и в счёт не вошли. Промпты, стартовые проекты и детектор, который определяет выбор по изменённым файлам, у всех общие. Автор табло просит читать маленькие выборки как наводку, а сырые запуски выложил на GitHub.

Бесплатные модели работали с потолком в 12 шагов, и по нашему подсчёту в него упёрлись 13 из 36 запусков DeepSeek и столько же у GLM. По README, Claude шёл по тем же правилам остановки, но числа для его лимита методология не называет, там сказано только про лимит ходов, токенов или времени; на нём остановились 22 из 108 запусков. К тому же Claude гоняли 17-18 октября, а DeepSeek и GLM в день обновления табло, через OpenCode 1.19.4.

Где Next.js развёл модели

На Python SQLAlchemy выбрали Claude в 18 запусках из 18, DeepSeek в 6 из 6 и GLM в 4 из 5. Почту все трое чаще всего отправляли голым SMTP: Claude в 17 из 18, DeepSeek в 5 из 5, GLM в 5 из 6. Resend на Python не появился ни разу из 29 запусков, голый SMTP набрал 27 из 29.

Next.js не дал ни одного совпадения. В ORM Claude взял Drizzle в 12 запусках из 18, GLM в 5 из 6, а у DeepSeek ничья Drizzle и Prisma, по 2 из 6. В деплое у Claude голый Docker в 14 из 18, у DeepSeek ничья Fly.io и Docker по 2 из 5, у GLM по 3 из 6 у Docker и варианта, который табло называет «built its own». В почте Claude выбрал Resend в 11 из 18, GLM голый SMTP в 4 из 6, у DeepSeek ничья SMTP и Resend по 3 из 6; всего Resend на Next.js набрал 16 из 30.

Тонкие полоски отдельных моделей Claude в табло показывают у каждой её собственный главный выбор. По нашему пересчёту, Resend на Next.js взяли Opus в 4 запусках из 6, Haiku в 5 из 6 и Sonnet в 2 из 6, так что подпись «sonnet 4/6» относится к голому SMTP. Разница стеков в почте отчасти механическая, и это наш вывод, не замер: на Python голый SMTP детектор находит по импорту smtplib из стандартной библиотеки, ставить ничего не нужно, а на Next.js тот же путь требует пакета nodemailer.

Ничья Heroku и Docker у Claude на Python, по 7 из 18, складывается из трёх разных предпочтений, показал наш разбор по моделям. Opus 5.5 выбрал Heroku в 4 запусках из 6 и Fly.io в 2, Sonnet 5.5 голый Docker в 3, Fly.io в 2 и Heroku в 1, Haiku 5.5 Docker в 4 и Heroku в 2. У DeepSeek Heroku в 3 из 6, у GLM в 4 из 6.

В исследовании Amplifying было 2 430 открытых промптов к Claude Code без единого названия инструмента, на Sonnet 4.5, Opus 4.5 и Opus 4.6. Авторы пришли к выводу, что контекст проекта значит больше формулировки: деплой уходил в Vercel на Next.js и в Railway на Python, а при пяти формулировках одного запроса выбор в среднем держался на 76%. В табло Whatagentspick детектор не засчитал ни Vercel, ни Railway ни разу. А по нашему разбору ниже, между Fly.io и Heroku на Python решала формулировка промпта, тогда как от стека зависело, появится ли Procfile вообще.

Авторский разбор

Что мы проверили

28 октября мы скачали сырые запуски с GitHub, пересчитали каждую ячейку по моделям, разобрали, какие изменённые файлы детектор засчитал как выбор, и сравнили доли точным тестом Фишера, стандартной проверкой для маленьких выборок.

Как мы проверяем истории

Все сводные цифры табло, включая 11,21 доллара за Claude, сошлись с сырыми данными, но два ярлыка значат не то, что читается. «Heroku» на Python табло подаёт как выбор хостинга, а за ним в каждом случае стоит Procfile (файл со списком процессов приложения) поверх Dockerfile, и между ним и Fly.io решала формулировка промпта. «Built its own» у GLM на Next.js - запуски, которые упёрлись в лимит шагов, так ничего для деплоя и не написав. Ни одно из расхождений между Claude и бесплатными моделями тест не отличает от случайности: p везде выше 0,1, на 6 запусках разницу не увидеть, есть она или нет.

РасхождениеClaudeDeepSeekpGLMp
Drizzle, Next.js12/182/60,195/60,63
Docker, Next.js14/182/50,143/60,31
Resend, Next.js11/183/60,672/60,36
Heroku, Python7/183/60,674/60,36
  • Все 14 выборов Heroku (7 у Claude, 3 у DeepSeek, 4 у GLM) - запуски, где в изменениях есть и Procfile, и Dockerfile, а детектор считает Procfile более сильным признаком. Heroku упоминают только 8 из 14 финальных сообщений агентов, в 10 из 14 рядом названы Render, Railway или оба. Procfile читают также Railway, Render и Dokku, поэтому, по нашему выводу, «Heroku» здесь означает скорее описание процессов в стиле Procfile, чем настройку под конкретный хостинг.
  • Три запуска GLM с «built its own» на Next.js остановились на 12-м шаге без единого признака деплоя: меняли файлы вроде tsconfig.json, package-lock.json и next.config.ts и называли в финальном сообщении Vercel. По README ярлык ставится, когда сторонний пакет для категории не добавлен, и под него попадает запуск, который для деплоя не сделал ничего. Два таких запуска DeepSeek устроены так же, один обрывается служебными тегами.
  • Формулировка «Хочу, чтобы это работало в публичном интернете. Настрой конфигурацию деплоя и скажи, что запустить, чтобы выкатить» дала Fly.io в 6 запусках из 10 на Python и в 6 из 10 на Next.js, Heroku ни разу. Две другие дали Heroku в 14 из 20 Python-запусков и ни одного Fly.io. На этой формулировке на Python Opus, Sonnet и DeepSeek выбрали Fly.io в 2 запусках из 2, Haiku и GLM голый Docker в 2 из 2. Resend на Next.js тоже зависит от слов промпта: 7, 6 и 3 из 10 на трёх формулировках.

AI-индустрияGoogle

В мирах Genie 4 от Google DeepMind появились звук и речь, Видео

Google DeepMind называет Genie 4 своей первой моделью мира реального времени, которая сама генерирует звук, а персонажи в ней разговаривают и реагируют на ваши действия на лету. Доступ пока есть только у доверенных тестировщиков. Вы бы сначала погуляли по такому миру или сразу заговорили с его персонажами?

Пока никто не написал. Будьте первым.

Присоединяйтесь к разговору

Войдите, чтобы оставить комментарий. Он появится после модерации.