CodeRabbit переводит ревью кода на Sonnet 5.5

Anthropic обещала экономию до 30% на задачу, а в ревью кода у Sonnet 5.5 вышло около 60%. Цены у Sonnet 5.5 и Sonnet 5 одинаковые, так что вся разница в токенах. Такие цифры получили в CodeRabbit и уже переводят на новую модель простые и средние ревью.

В тест взяли 13 самых трудных пулл-реквестов, в каждом заранее известен баг. Sonnet 5.5 нашла 6 таких багов, Sonnet 5 только 4, а точность комментариев у них почти одинаковая. На других 44 открытых пулл-реквестах среднее ревью заняло 6:33 вместо 13:31.

Opus 5.5 на тех же 13 случаях поймала 8–10 багов, так что на тяжёлых задачах флагман сильнее. Выборка маленькая, авторы теста это признают, а оценку качества на 44 пулл-реквестах ещё не закончили.

Похоже, Opus 5.5 достанутся пулл-реквесты, где пропущенный баг дороже лишних токенов.