Sonnet 5.5 сэкономил CodeRabbit вдвое больше обещанного

CodeRabbit проверила Claude Sonnet 5.5 в своём конвейере ревью кода и впервые готова ставить модель линейки Sonnet на основной проход по каждому пул-реквесту, а не держать её только ради аккуратных комментариев. В разборе CodeRabbit от 29 сентября на 13 трудных случаях с заранее известным багом Sonnet 5.5 нашла 6 проблем против 4 у Sonnet 5. На ревью у неё уходило примерно вдвое меньше времени, а вызовы Claude стоили около 40% от прежнего.

У Sonnet 5 была конкретная слабость: комментарии чистые, но много багов проходит мимо. CodeRabbit тестирует каждую Sonnet начиная с четвёртой версии. Sonnet 4.6 ловила около 63% известных проблем, но при точности 29% комментировала всё подряд. Sonnet 5 обменяла охват на точность: охват упал примерно до 50%, а придирок по мелочам стало больше. Sonnet 5.5 первой в линейке подняла охват и не потеряла в точности.

На наборе Signal точность почти не изменилась: 41,2% у Sonnet 5.5 и 40,0% у Sonnet 5. Комментариев стало 17 вместо 15, мелких замечаний 2 вместо 3. Ни один комментарий новая модель не пометила как критический. Sonnet 5 так пометила два, и один из них оказался ошибочным. При такой выборке решает каждый голос судьи: один из семи засчитанных комментариев Sonnet 5.5 прошёл голосованием два к одному, и без него точность падает до 35,3%. Находки к тому же не совпадают. Четыре бага, которые поймала Sonnet 5.5, Sonnet 5 пропустила, а два бага, найденных Sonnet 5, новая модель упустила. Всего две модели разошлись на шести случаях из 13.

Откуда 60% экономии

Прайс не изменился: 2 доллара за миллион входных токенов, 10 за выходные, 0,20 за чтение из кеша и 2,50 за запись в кеш. Это вдвое дешевле Opus 5.5 с его 4 и 20 долларами. Anthropic обещает, что задача обойдётся до 30% дешевле за счёт меньшего числа токенов, а вывод пойдёт на 30%+ быстрее. На ревью кода разница вышла вдвое больше обещанной. По прайс-листу вызовы Claude стоили 0,47 доллара за ревью на Signal и 0,46 доллара на большом наборе из 44 пул-реквестов. Sonnet 5 обходилась в 1,16 доллара на обоих. Общие вспомогательные модели, которые пишут сводки и проверяют находки, в расчёт не входят.

Цены одинаковые, поэтому вся разница сидит в токенах. На Signal средний вызов основного ревью у Sonnet 5 читал 247,5 тысячи токенов, а у Sonnet 5.5 110,7 тысячи. Писал 21,6 тысячи против 5,8 тысячи, а слов в рассуждениях набиралось 2 771 против 464. Большой набор показывает ту же картину: на вход 191,5 тысячи против 87,3 тысячи, на выход 23,8 тысячи против 5,7 тысячи. В CodeRabbit объясняют, что Sonnet 5 раз за разом перечитывала одни и те же файлы и писала длинные рассуждения. Если считать весь конвейер вместе с мелкими моделями, Sonnet 5 потратила на 27% больше токенов на Signal и на 49% больше на 44 пул-реквестах.

На 44 настоящих пул-реквестах

Тринадцать случаев - малая выборка, и CodeRabbit оговаривает это по ходу всего текста. Поэтому обе модели прогнали ещё на наборе OSS August: 85 известных проблем в 44 пул-реквестах из open-source проектов, в основном логические ошибки, неверное использование API, гонки, обращения к null и уязвимости. Оценка судьи по этому набору ещё не готова, так что цифры говорят о нагрузке на ревьюера, а не о качестве. Sonnet 5.5 оставила 111 комментариев против 146. Критических среди них 4 против 14, мелких придирок 9 против 30.

Со скоростью оговорок не нужно. Ревью в среднем заняло 6:33 против 13:31, медиана 5:44 против 13:49. У Sonnet 5 четыре генерации шли дольше десяти минут, у Sonnet 5.5 таких не было ни одной. На оба набора, 57 ревью, Sonnet 5 понадобилось чуть больше двенадцати часов, а Sonnet 5.5 шесть.

Включать ли thinking

Opus 5.5 не принимает явного выключения рассуждений, а Sonnet 5.5 разрешает отключить их на уровнях effort low, medium и high. Гайд Anthropic по миграции называет этот режим between_tools, и команды, которые гоняли Sonnet 5 с выключенным thinking, при переходе должны переключиться на него. По умолчанию рассуждение адаптивное, глубину задаёт effort: в приложениях Claude стоит medium, на Claude Platform high.

С включённым thinking Sonnet 5.5 на Signal поймала 6 случаев из 13 при точности 41,2% и 17 комментариях. С выключенным вышло 5 из 13, 38,5% и 13 комментариев. Выходных токенов на вызов включённый режим тратил около 5 800 против 2 900, но среднее ревью при этом шло на 31 секунду быстрее, что в пределах шума. Счёт вырос всего на 15%: 0,47 доллара за ревью против 0,41. Режимы расходились в обе стороны. Только с рассуждением модель нашла баг с контекстом конфигурации в vLLM и ошибку сериализации вызова инструмента при стриминге. Без рассуждения она поймала случай с terms-enum в Elasticsearch обычным комментарием, а включённый режим дотянулся до него только за пределами диффа. CodeRabbit советует оставлять thinking включённым.

Из Opus 5.5 модель унаследовала и изменения в API. Принудительный вызов инструмента заменили structured outputs, а инструменты можно добавлять посреди диалога без сброса кеша промпта. Anthropic предупреждает, что модель понимает инструкции буквально: «минимизируй вызовы инструментов» она выполнит дословно. А на низком effort может отчитаться о готовой правке, не запустив проверку, если промпт её не требует.

До Opus 5.5 не дотягивает

На тех же 13 случаях Opus 5.5 в сентябре поймал 8 багов в конфигурации Standard при точности 66,7% и 10 в конфигурации Max при 52,0%. Разрыв шире, чем в бенчмарках Anthropic на запуске, где Sonnet 5.5 отстаёт от Opus 5.5 примерно на три пункта в большинстве строк, а в Terminal-Bench 4.0 даже обходит его, 70,6% против 66,4%. Четыре трудных случая из 13 не поддались ни одной конфигурации Sonnet. В CodeRabbit считают, что для изменений, где пропущенный баг обходится дорого, лишние токены Opus 5.5 окупаются.

В отдельном сравнении обе модели в Claude Code получили один и тот же длинный промпт: собрать конструктор моделей из кубиков Brick Studio и записать 45-секундный ролик. Sonnet 5.5 справилась за 29 минут 27 секунд, Opus 5.5 за 44 минуты 50 секунд. Результаты почти одинаковые, у Opus чуть выше детализация, но это один прогон, а не бенчмарк.

Вице-президент CodeRabbit по ИИ Дэвид Локер в анонсе Anthropic сказал, что Sonnet 5.5 «принимает более взвешенные решения, чем Sonnet 5, на задачах разной сложности» и при этом тратит гораздо меньше выходных токенов. По его словам, у новой модели пропала привычка Sonnet 5 слишком часто обращаться к веб-поиску. Простые и средние ревью CodeRabbit переводит на Sonnet 5.5 уже сейчас, остальные собирается перевести в ближайшие недели.