Haiku 5.5 печатает быстро, но молчит 415 секунд
415,30 секунды до первого токена намерила Artificial Analysis у Claude Haiku 5.5 в режиме Max при медиане класса 2,17 секунды, и в это ожидание входит время, пока модель рассуждает.
Теги
Тег: Бенчмарки
четверг8 октября
вторник29 сентября
Sonnet 5.5 сэкономил CodeRabbit вдвое больше обещанного
На ревью кода в CodeRabbit Sonnet 5.5 обошёлся примерно на 60% дешевле Sonnet 5, хотя сама Anthropic обещала экономию до 30% на задачу. И качеством за это не заплатили: на трудных случаях он поймал 6 багов из 13 против 4.
Sonnet 5.5 выдал 410 млн токенов ради третьего места
410 миллионов выходных токенов при медиане 88 миллионов: столько Claude Sonnet 5.5 на максимальных усилиях потратил в индексе Artificial Analysis. Зато взял 56 баллов и третье место из 216 моделей.
