Message threads в Claude срезают задержку, не счёт за токены

Anthropic 2 ноября открыла публичную бету тредов сообщений (message threads) в Messages API. Теперь агент отправляет полный разговор только в первом запросе, потом идут лишь новые сообщения, а историю держит сервер. Если ваши агенты ведут длинные активные сессии, параметр thread сократит паузу перед началом ответа. Счёт он не сократит: Claude всё так же читает весь разговор на каждом ходу, и токенов уходит столько же.

В Claude Code треды уже включены по умолчанию у большинства пользователей. На запросах от 500 тысяч до 1 миллиона токенов медианное время до первого токена (паузу между запросом и началом ответа) они сократили примерно на 35%, сообщает Anthropic. Чем больше контекста несёт агент, тем сильнее сокращается это время, обещает компания.

Задержка набегала из-за устройства самого API: он не хранит состояние между запросами, поэтому без треда каждый запрос приходит с историей целиком. По описанию The News Stack, API принимает, проверяет и режет на токены всю переписку, прежде чем Claude начнёт отвечать, а кодинг-агент за сессию делает сотни таких запросов. С тредом полный разговор на своей стороне собирает сервер. У агентов computer use скриншоты остаются в треде, и грузить их заново на каждом ходу не нужно. Выигрыш Anthropic обещает и в сценариях, где много документов и изображений.

«Хотя с тредами каждый запрос меньше, Claude по-прежнему читает весь разговор на каждом ходу, так что расход токенов не меняется», - объясняют в Anthropic. Тарифы обычные, лимиты прежние. Деньги экономит кэширование промпта, и с тредами оно работает вместе, отмечает ZDNET. Чтение из кэша, по разбору самой Anthropic в августе, стоило 0,1 от цены ввода.

Автор ZDNET прикинул выигрыш в минутах на своих логах Claude Code: около 980 ходов до появления тредов, и при контексте от 500 тысяч токенов Claude обычно начинал отвечать примерно через 3 секунды после запроса посреди задачи. С поправкой на 35% Anthropic Claude насчитал экономию в 2-4 минуты на четырёхчасовую рабочую сессию.

Как включить в своём агенте

Бета доступна на самой Claude Platform, в Claude Platform on AWS, Claude in Microsoft Foundry и Claude Models on Google Cloud (в варианте под управлением Anthropic). Тред включается параметром thread в запросе к Messages API. Первый запрос уходит как обычно, с полным разговором, и открывает тред; по словам The News Stack, в нём же передаются системные промпты и описания инструментов. Каждый следующий запрос несёт только новые сообщения и ID предыдущего ответа.

Между ходами Anthropic держит тред в памяти, в зашифрованном виде и без записи на диск. Истекает он через 5 минут после последнего запроса, а удаляется, согласно документации, не позже чем через час после последнего использования. После истечения клиент снова отправляет весь разговор и открывает новый тред.