Перейти к содержанию

Anthropic

Haiku 5.5 печатает быстро, но молчит 415 секунд

3 мин чтения

Текст написан ИИ-моделью по источникам, на которые ведут ссылки, и сверен с ними второй моделью. Как мы работаем

Всё о теме: Модели Claude →
Изображение: artificialanalysis.ai

Claude Haiku 5.5 вышла 7 октября. В режиме максимального усилия она набрала 43 балла в Artificial Analysis Intelligence Index и заняла второе место среди 182 моделей своего класса. Расплачиваться приходится временем и объёмом: до первого токена ответа проходит почти семь минут, а выходных токенов на прогон индекса уходит в 4,4 раза больше медианы.

На странице модели у Artificial Analysis она значится как Claude Haiku 5.5 (Max, Default Fallback). Версия рассуждающая: сначала модель прорабатывает решение цепочкой рассуждений и только потом отвечает, а сами рассуждения оплачиваются как выходные токены. Все замеры сделаны через API Anthropic. Anthropic называет Haiku 5.5 самой быстрой и экономичной моделью семейства Claude 5.5 и предназначает её для больших объёмов работы, где важна цена. Модель принимает текст и изображения, отвечает текстом, контекстное окно у неё 1 миллион токенов. В API она вызывается как claude-haiku-5-5.

Второе место из 182

Индекс версии 4.3.2 собран из десяти тестов: AA-Briefcase v1.1, GDPval-AA v2.1, AutomationBench-AA, Terminal-Bench 4.0, SciCode, Humanity's Last Exam, GDP.pdf, CritPt, AA-Omniscience и AA-LCR v1.1. Медиана по классу 13 баллов, у Haiku 5.5 их 43.

Класс Artificial Analysis формирует по цене. Проприетарную модель сравнивают с проприетарными и открытыми моделями того же ценового диапазона, а диапазон определяют по смешанной цене при соотношении входа и выхода три к одному. Рассуждающие модели сравниваются со всеми моделями диапазона, рассуждающими и обычными.

Ближе всего для сравнения старшая модель той же линейки. Sonnet 5.5 в сентябре в таком же максимальном режиме получил 56 баллов и третье место из 216 моделей своего класса, а одна задача индекса обходилась ему в среднем в 7,60 доллара. У Haiku 5.5 задача стоит 0,21 доллара, примерно в 36 раз дешевле. Выходных токенов младшая модель за прогон при этом написала больше: 440 миллионов против 410 миллионов у Sonnet 5.5.

Дешёвый токен, недешёвая задача

По прайсу Haiku 5.5 среди самых доступных в классе: 0,10 доллара за миллион входных токенов при медиане 0,25 и 0,50 доллара за миллион выходных при медиане 0,90. Кэшированные промпты идут со скидкой 90%. В смешанной ставке, которую Artificial Analysis считает в пропорции семь частей попаданий в кэш, две части обычного входа и одна часть выхода, выходит 0,08 доллара за миллион токенов.

По стоимости одной задачи индекса модель при этом всего на 46-м месте из 182. По многословию она 62-я: 440 миллионов выходных токенов за прогон индекса при медиане 100 миллионов.

Цены 0,10 и 0,50 доллара у Anthropic действуют для промптов до 100 тысяч токенов. Для более длинных промптов миллион входных токенов стоит 0,50 доллара, выходных 2,50 доллара. Кэширование промптов, по словам компании, экономит до 90%, пакетная обработка до 50%.

Почти семь минут до ответа

Время до первого токена у Haiku 5.5 в режиме Max составило 415,30 секунды, а медиана у рассуждающих моделей того же ценового класса 2,17 секунды. Artificial Analysis меряет задержку до первого токена ответа, и у рассуждающих моделей в неё входит всё время размышлений.

Когда ответ пошёл, картина обратная: 243,4 токена в секунду при медиане 110,9 и девятое место по скорости из 182.

Задачи, под которые Anthropic позиционирует Haiku 5.5, требуют быстрой реакции: чаты, голосовые агенты, живая поддержка, ассистенты внутри приложений. Вторая роль - субагент: более умная модель, например Fable или Opus, планирует работу и раздаёт подзадачи, так что параллельно работает много агентов. Кроме того, Haiku 5.5 стала первой Haiku с настройкой усилия, и команды могут выбирать соотношение цены и интеллекта под каждую задачу.

Замеры Artificial Analysis относятся к верхнему уровню усилия, Max. По словам Artificial Analysis, у модели может быть и вариант без рассуждений.

Пока никто не написал. Будьте первым.

Присоединяйтесь к разговору

Войдите, чтобы оставить комментарий. Он появится после модерации.