Haiku 5.5 печатает быстро, но молчит 415 секунд

Claude Haiku 5.5 вышла 7 октября. В режиме максимального усилия она набрала 43 балла в Artificial Analysis Intelligence Index и заняла второе место среди 182 моделей своего класса. Расплачиваться приходится временем и объёмом: до первого токена ответа проходит почти семь минут, а выходных токенов на прогон индекса уходит в 4,4 раза больше медианы.
На странице модели у Artificial Analysis она значится как Claude Haiku 5.5 (Max, Default Fallback). Версия рассуждающая: сначала модель прорабатывает решение цепочкой рассуждений и только потом отвечает, а сами рассуждения оплачиваются как выходные токены. Все замеры сделаны через API Anthropic. Anthropic называет Haiku 5.5 самой быстрой и экономичной моделью семейства Claude 5.5 и предназначает её для больших объёмов работы, где важна цена. Модель принимает текст и изображения, отвечает текстом, контекстное окно у неё 1 миллион токенов. В API она вызывается как claude-haiku-5-5.
Второе место из 182
Индекс версии 4.3.2 собран из десяти тестов: AA-Briefcase v1.1, GDPval-AA v2.1, AutomationBench-AA, Terminal-Bench 4.0, SciCode, Humanity's Last Exam, GDP.pdf, CritPt, AA-Omniscience и AA-LCR v1.1. Медиана по классу 13 баллов, у Haiku 5.5 их 43.
Класс Artificial Analysis формирует по цене. Проприетарную модель сравнивают с проприетарными и открытыми моделями того же ценового диапазона, а диапазон определяют по смешанной цене при соотношении входа и выхода три к одному. Рассуждающие модели сравниваются со всеми моделями диапазона, рассуждающими и обычными.
Ближе всего для сравнения старшая модель той же линейки. Sonnet 5.5 в сентябре в таком же максимальном режиме получил 56 баллов и третье место из 216 моделей своего класса, а одна задача индекса обходилась ему в среднем в 7,60 доллара. У Haiku 5.5 задача стоит 0,21 доллара, примерно в 36 раз дешевле. Выходных токенов младшая модель за прогон при этом написала больше: 440 миллионов против 410 миллионов у Sonnet 5.5.
Дешёвый токен, недешёвая задача
По прайсу Haiku 5.5 среди самых доступных в классе: 0,10 доллара за миллион входных токенов при медиане 0,25 и 0,50 доллара за миллион выходных при медиане 0,90. Кэшированные промпты идут со скидкой 90%. В смешанной ставке, которую Artificial Analysis считает в пропорции семь частей попаданий в кэш, две части обычного входа и одна часть выхода, выходит 0,08 доллара за миллион токенов.
По стоимости одной задачи индекса модель при этом всего на 46-м месте из 182. По многословию она 62-я: 440 миллионов выходных токенов за прогон индекса при медиане 100 миллионов.
Цены 0,10 и 0,50 доллара у Anthropic действуют для промптов до 100 тысяч токенов. Для более длинных промптов миллион входных токенов стоит 0,50 доллара, выходных 2,50 доллара. Кэширование промптов, по словам компании, экономит до 90%, пакетная обработка до 50%.
Почти семь минут до ответа
Время до первого токена у Haiku 5.5 в режиме Max составило 415,30 секунды, а медиана у рассуждающих моделей того же ценового класса 2,17 секунды. Artificial Analysis меряет задержку до первого токена ответа, и у рассуждающих моделей в неё входит всё время размышлений.
Когда ответ пошёл, картина обратная: 243,4 токена в секунду при медиане 110,9 и девятое место по скорости из 182.
Задачи, под которые Anthropic позиционирует Haiku 5.5, требуют быстрой реакции: чаты, голосовые агенты, живая поддержка, ассистенты внутри приложений. Вторая роль - субагент: более умная модель, например Fable или Opus, планирует работу и раздаёт подзадачи, так что параллельно работает много агентов. Кроме того, Haiku 5.5 стала первой Haiku с настройкой усилия, и команды могут выбирать соотношение цены и интеллекта под каждую задачу.
Замеры Artificial Analysis относятся к верхнему уровню усилия, Max. По словам Artificial Analysis, у модели может быть и вариант без рассуждений.
Дальше
ClaudeИнструменты разработчика
SDK для Claude сами ведут цикл computer use, браузер ваш, Видео
Python и TypeScript SDK для Claude получили встроенные инструменты browser use и computer use, и цикл кликов SDK ведёт сам. Но браузер, рабочий стол и драйвер в комплект не входят, их приносите вы.
Читайте также
- Sonnet 5.5 выдал 410 млн токенов ради третьего места
- Fable 5.2 подешевела, но правка ходов в API даёт ошибку
- Haiku 5.5 решил 39,2% Terminal-Bench, у Haiku 4.5 был ноль
- Claude Code на Pro по умолчанию работает на Haiku 5.5
- Sonnet 5.5 обогнал Opus 5.5 в Terminal-Bench 4.0
- Два верхних режима Claude Fable 5.1 дают 90% на ARC-AGI-2
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

