Opus 5.5 у CodeRabbit поймал 11 новых багов, но упустил 9

CodeRabbit прогнал Claude Opus 5.5 через свой конвейер ревью кода. Результат оказался обратным тому, что компания видела у Opus 5: новая модель ловит чуть больше известных багов, теряет немного точности и пропускает уже другие ошибки. Подробности - в разборе CodeRabbit от 22 сентября.

С прошлым тестом расклад был иной. В замере Opus 5 конфигурация x-high давала 39,3% точных комментариев против 35,2% у боевого набора моделей, но находила меньше известных проблем: 55,2% против 61,1%. Придирок к мелочам она при этом писала примерно вчетверо больше. Наборы тестов и конфигурации с тех пор поменялись, поэтому в CodeRabbit просят считать это историческим контекстом, а не прямым сравнением версий.

На этот раз сравнивали две конфигурации Opus 5.5, Standard и Max, с текущим боевым набором. Это настройки всего конвейера, а не одно значение effort в API и не дефолт Anthropic: Standard собрана из более низких уровней рассуждения, Max из более высоких. Тестов два. OSS August включает 80 известных шаблонов ошибок, общих для всех трёх конфигураций, а в отдельном Signal собраны 13 более трудных случаев. Комментарии считали уже после проверки, дедупликации и фильтрации. Точность здесь означает долю комментариев, которые судья бенчмарка засчитал по целевой проблеме. Принимают ли такие комментарии разработчики, она не показывает.

В открытом бенчмарке разница небольшая:

• боевой набор: 49 из 80 (61,3%), точность 39,3%, 116 комментариев;
• Opus 5.5 Standard: 51 из 80 (63,8%), точность 38,6%, 127 комментариев;
• Opus 5.5 Max: 50 из 80 (62,5%), точность 35,7%, 140 комментариев.

За итоговыми цифрами стоит обмен. Standard нашла 11 проблем, которых не видел боевой набор, и упустила девять, которые он ловил. В сумме выходит всего два лишних бага, а разбирать приходится на 11 комментариев больше. Max прибавила 24 комментария при меньшей точности и одной лишней находке, причём большую долю своих замечаний она сама пометила как minor. В CodeRabbit оговаривают, что такая метка не делает находку неверной или бесполезной.

Среди новых находок есть вполне конкретные. В бенчмарке на коде Cal.com два параллельных задания читали retryCount = 0, и каждое записывало 1: из двух попыток инкремента в счётчике оставалась одна. Обе конфигурации Opus 5.5 нашли эту гонку и предложили атомарный { increment: 1 }, при котором прибавляет сама база к своему текущему значению. Боевой набор её пропустил. Отсюда совет CodeRabbit: при замене ревьюера сравнивать баги, которые ловит только старый, с теми, что ловит только новый, и взвешивать, во что каждый обойдётся вашему приложению. Различия в находках, по мнению компании, оправдывают и пробу второго ревьюера рядом с первым, хотя качество, стоимость и объём комментариев такой связки эти прогоны не измеряли.

На трудных случаях Signal разрыв заметнее. Max нашла 10 из 13 проблем обычными комментариями, Standard 8, боевой набор 5. С точностью картина другая: у Standard 66,7%, у Max 52,0%, у боевого набора 29,4%. Комментариев 21, 25 и 17 соответственно. Если учесть находки за пределами изменённых строк, Standard и Max доходят до 10 каждая, а боевой набор до 7. Совпадают только суммы: пропущенные случаи у двух конфигураций Opus разные. Поэтому стартовать CodeRabbit советует со Standard, а Max тестировать отдельно, проверяя, ловит ли повышенный effort важные баги, которые упускает обычная настройка, и не теряет ли взамен другие.

Дальше вопрос денег. Цена за токен у Opus 5.5 ниже, чем у Opus 5: 4 доллара за миллион входных токенов вместо 5, 20 долларов за миллион выходных вместо 25, чтение из кэша 0,20 доллара вместо 0,50. Но токенов во всех прогонах ушло больше, чем у боевого набора. У Standard на 49,2% больше в OSS August и на 40,6% в Signal, у Max на 57,6% и 60,1%. Это сравнение с текущим набором моделей, а не с Opus 5. Вход и выход в нём не разделены, и долларовой стоимости или задержки цифры не показывают. В сентябре Anthropic обещала, что Opus 5.5 на типичных нагрузках обходится на 40% дешевле Opus 5, в том числе за счёт меньшего числа токенов на задачу. Базы у этих двух сравнений разные.

Для своих замеров CodeRabbit советует считать вход, выход, чтение и запись кэша по отдельности за всё ревью целиком, включая повторы, проверочные вызовы и запасные модели. Короткий видимый ответ ещё не значит дешёвый вызов: рассуждения тоже расходуют токенный бюджет модели.

Тем, кто строит собственный конвейер ревью, придётся учесть и изменения в API. Явно включить или выключить рассуждения у Opus 5.5 нельзя: такие запросы модель отклоняет, и основным рычагом остаётся effort. Начинать рекомендуют с medium и сравнивать его с low и high. На том же уровне effort Opus 5.5 может рассуждать за ход больше, чем Opus 5, особенно на x-high и max. Принудительный вызов инструмента убрали: приложение уже не может потребовать, чтобы следующий ответ вызвал конкретный инструмент. Схема по-прежнему ограничивает аргументы вызова, но самого вызова не гарантирует, так что конвейер должен проверять, что вызов случился, и обрабатывать случаи, когда его не было. Влияние этих изменений бенчмарки CodeRabbit не измеряли.

Сильнее всего Opus 5.5 впечатлил команду на длинных задачах. Гаутам, участвовавший в оценке, дал модели цель для личного проекта и оставил её работать на ночь, результат понравился и ему, и коллегам. В игровом эксперименте по мотивам GTA: San Andreas версия Opus получилась детальнее варианта Fable 5.1, но и строилась дольше. С ревью кода в CodeRabbit эти впечатления сами не связывают и вывод делают осторожный: эффективность модели «остаётся открытым вопросом», и командам стоит проверить, превращаются ли более низкие цены за токен в более дешёвое ревью на практике.