Sonnet 5.5 обогнал Opus 5.5 в Terminal-Bench 4.0

Claude Sonnet 5.5, который Anthropic представила 28 сентября, набрал в Terminal-Bench 4.0 70,6% против 66,4% у Opus 5.5. Но Sonnet в этой паре работал на максимальной ступени усилий Max, а Opus на Xhigh. На одинаковых ступенях Sonnet отстаёт от Opus везде, кроме Max, а разрыв в 4,2 пункта укладывается в погрешность, которую указывает сама Anthropic.

Остальное в анонсе Anthropic выглядит проще. Цена за входные и выходные токены та же, что у Sonnet 5, и совпала с той, что называла утечка: 2 доллара за миллион входных и 10 за миллион выходных. Ответы модель генерирует на 30% с лишним быстрее, задача в тестах Anthropic обходится до 30% дешевле, а у Sonnet 5 в том же Terminal-Bench 4.0 было 10,3%. Sonnet 5.5 вышел через шесть дней после Opus 5.5 и позиционируется как более быстрое и дешёвое дополнение к нему: для чётко поставленных повседневных задач, правки багов, документов, слайдов и таблиц. Модель уже доступна на всех платформах, включая AWS, Google Cloud и Azure, под идентификатором claude-sonnet-5-5, с вариантом без хранения данных (zero data retention).

Откуда берётся экономия

Раз прайс прежний, вся экономия идёт от расхода: Sonnet 5.5 тратит на ту же работу меньше токенов и вызовов инструментов. В сравнительных прогонах ранние тестировщики видели, что модель чаще пакует вызовы инструментов вместе, поэтому шагов выходит меньше. Balyasny Asset Management намерила около 121 тысячи токенов на ответ против 497 тысяч у Sonnet 5. Base44 насчитала 3,6 итерации на сборку приложения, тогда как Opus 5 требовалось 7,7.

В Slack новую модель прогнали на офлайн-тестах их Slackbot, не меняя промптов. По словам главного инженера Кёртиса Аллена, Sonnet 5.5 оказался лучше Sonnet 5 почти во всех тестах, «за меньшее число шагов и примерно с 14% меньшим числом выходных токенов».

На старте прайс Sonnet 5.5 был ровно вдвое ниже Opus 5.5 по входу (2 доллара против 4), выходу (10 против 20) и записи в кэш (2,50 против 5), а чтение из кэша у обеих моделей стоило 0,20 доллара за миллион. Позже, 7 октября, в тот же день, когда вышел Haiku 5.5, Anthropic вдвое снизила цену чтения из кэша для Sonnet 5.5, до 0,10 доллара. В аккаунте @claudeai это объяснили так: Sonnet 5.5 станет «примерно на 20% дешевле на большинстве долгих задач». Теперь все четыре строки прайса Sonnet 5.5 составляют ровно половину от Opus 5.5, и для агентских циклов, которые в основном перечитывают закэшированный контекст, разрыв в цене токена между моделями тот же, что и везде.

Какую ступень effort выбрать

Ступеней усилий пять: Low, Medium, High, Xhigh и Max. В Claude Code и приложениях Claude по умолчанию стоит Medium, на Claude Platform - High. Чем выше ступень, тем дольше модель рассуждает и перепроверяет себя, тем дороже задача и, как правило, выше оценка.

По Anthropic, на нескольких бенчмарках Sonnet 5.5 на Low или Medium обходит лучший результат Sonnet 5 примерно за десятую часть цены задачи. В Terminal-Bench 4.0 на Medium он заметно превосходит лучший результат предшественника меньше чем за десятую часть цены. В FrontierCode на High новая модель на 10 пунктов выше Sonnet 5 на той же ступени и примерно в 15 раз дешевле в пересчёте на задачу. Зато 70,6% в Terminal-Bench взяты с самой дорогой ступени: по подсчёту Digitalapplied, одна попытка там стоит больше чем в шесть раз дороже, чем при настройке API по умолчанию.

Max вообще не всегда лучший выбор. В таблице анонса у Sonnet 5.5 для FrontierCode 1.1 стоят две цифры: 46,2% на Max и 52,1% на Xhigh. MarkTechPost объясняет провал тем, что на Max модель чаще запускала многоагентное ревью кода, и это порой приводило к таймаутам или правкам за пределами задачи, а FrontierCode за такое штрафует.

В задачах «офисного» типа Sonnet 5.5 подобрался к Opus вплотную: в GDPval-AA, где модели решают реальные задачи из 44 профессий, у него 1844 балла против 1846 у Opus 5.5 и 1449 у Sonnet 5. В OSWorld 2.1, тесте работы за компьютером, 80,1% против 81,8%, в CursorBench 4.0 55,5% против 57,8%. Это первый Sonnet, который прошёл Pokémon Red, видя только скриншоты. При этом Anthropic сама признаёт, что на сложной открытой работе, где нужно долго держать суждение, Opus 5.5 остаётся явно сильнее. В Epic Games новую модель проверили на аудите архитектуры и ревью потоков данных. По словам операционного директора Дэниела Фогеля, Sonnet 5.5 держал «планку качества, которую ждёшь от модели старшего уровня», управлялся с десятками тысяч строк кода игровой архитектуры и справлялся с многочасовыми задачами при менее подробных промптах.

Защита и переход

По навыкам в кибербезопасности Sonnet 5.5 сравнялся с Opus 5, поэтому это первый Sonnet с фильтрами того же типа, что у старших моделей. Поиск и правка багов в обычной разработке идут как раньше, а рискованные задачи по кибербезопасности будут заметно откатываться на Sonnet 5. Для специалистов по киберзащите обещают расширенную Cyber Verification Program с уровневым доступом к Sonnet 5.5, Opus 5.5 и моделям Claude Mythos. Биологические фильтры те же, что у Sonnet 5: часть запросов по микробиологии и вирусологии может помечаться по ошибке, а организациям предлагают Life Sciences Verification Program.

Против дистилляции, когда тысячи фейковых аккаунтов выкачивают из модели её возможности, Sonnet 5.5 впервые для линейки получил классификаторы, мешающие извлекать рассуждения. Ещё Anthropic расширила preserved thinking: рассуждения остаются в той организации, где их сгенерировали. Если переключить аккаунт посреди сессии в Claude Code, Claude перечитает сессию и сгенерирует рассуждения заново. Ранее выданный сброс лимитов для Pro, Max и Team можно применить до 22 октября.

Для перехода на claude-sonnet-5-5 тем, кто запускает Sonnet с выключенным мышлением, сначала нужно переключиться на новую настройку between_tools: она оставляет выключенными рассуждения перед ответом, детали Anthropic вынесла в гайд по миграции.