Claude переписал Messages API с Python на Rust

Anthropic перевела Messages API с питоновского монолита на Rust, а код порта писал Claude, рассказали руководители инженерии и продукта Кейтлин Лессе и Анджела Цзян в выпуске подкаста Latent Space от 27 октября. Тем, кто работает с Claude через API, порт сокращает время до первого токена: по прикидке самой Anthropic, на 10-20%, и выигрыш этот приходится на сервисный слой API вокруг модели. Закончили порт, судя по датам, ещё в середине сентября.
Экономия CPU, по словам одного из гостей, составила «где-то 40-50%», а на более долгих нагрузках выигрыш по задержке выше. Обе цифры - оценки руководителя Anthropic, а не опубликованные бенчмарки. Сервисный слой принимает и обрабатывает запрос и доставляет ответ. Если он тратит на это меньше, первый токен может прийти раньше, при том что скорость, с которой модель выдаёт следующие токены, от этого не меняется.
Порт одним куском
«Мы выбрали Rust, и на тот момент решение было безумным», - вспоминает один из гостей. На бумаге выбор очевиден, но в команде, по его словам, не было ни одного Rust-разработчика. Труд поделили так: «Код будет писать Claude. Систему проектируют люди». Люди следили, чтобы на выходе получилась внятная распределённая архитектура, а Claude помогал им и с кодом, и с тем, чтобы разобраться в незнакомом языке и обсудить варианты.
Важнее всего, по словам гостя, оказались две вещи: план и проверка, потому что сама реализация свелась к тому, что код пишет Claude. Команда собрала полный форк API на Rust и пустила через него теневой трафик: копию реальных запросов, ответы на которую клиентам не уходят. Ответы Rust-версии сверяли с питоновскими, и только потом нагрузку начали постепенно переключать на новый код.
Обычно так не делают. Систему переносили бы по частям, кусок за куском, и такая миграция «легко заняла бы несколько лет», говорит гость. Здесь весь API перенесли разом. Порт вела отдельная команда, пока остальные продолжали добавлять в API функции; статический анализ ругался, если новую функцию сделали в Python и не учли в Rust. Свои улучшения по ходу переписки команда порта сознательно не добавляла, так что это чистый порт.
Пару людей с опытом Rust по ходу всё же наняли. А те, кто начинал порт, по словам гостя, сейчас, наверное, и сами назвали бы себя Rust-разработчиками.
Почему упёрлись в CPU
Когда один из гостей чуть больше года назад пришёл в Anthropic, Messages API был монолитом на Python в одном регионе GCP. С тех пор API работает в нескольких регионах, но ещё в этом году в команде прогнозировали: «Мы упрёмся в стену по CPU». Питоновский монолит расходовал процессор неэкономно, а CPU для Anthropic - общий бюджет. Его выбивают в сделках с облачными провайдерами и делят между продуктовыми сервисами, API, песочницами для агентов, CI и исследованиями. Кода пишется заметно больше, значит, растёт и число прогонов CI.
Раньше, объясняют гости, мощности можно было наращивать по требованию, пока позволял бюджет, а теперь их приходится планировать заранее. Перевод API на Rust гости называют одним из способов тратить имеющийся CPU экономнее, наряду с попытками просто купить ещё.
Состояние диалога на сервере
Следующая задача той же команды - перестройка архитектуры, в том числе с изменениями, которые заметят пользователи API. Одна из идей: не передавать в каждом запросе всю переписку, если клиент согласен, чтобы состояние диалога какое-то время хранилось у Anthropic. Кэш промптов этого не заменяет, историю с ним всё равно приходится слать заново. Пользователей с такими длинными диалогами, по словам гостей, немного, зато по объёму токенов именно эти нагрузки дадут большинство.
Такие вещи, по словам гостей, только начинают выкатывать. Сложность ещё и в том, что Anthropic работает во всех трёх облаках и не может рассчитывать на один тип машин, кроме самых базовых.
Авторский разбор
Что мы проверили
2 ноября мы сверили даты этой истории по метаданным страницы выпуска, release notes Claude API и журналу версий Claude Code.
Фраза «на прошлой неделе мы полностью выкатили Messages API на Rust» в октябрьском выпуске звучит как свежая новость, но разговор записан на следующий день после запуска Opus 5.5, а Opus 5.5, по release notes Claude API, вышел 22 сентября; в тот же день модель появилась и в Claude Code. Выходит, порт закончили примерно в середине сентября, больше чем за пять недель до публикации. Если вы сравниваете время до первого токена до и после порта, точку отсчёта ищите в середине сентября.
Дальше
На странице Anthropic нашли скрытую строку о Mythos 5.5
Claude Mythos 5 сейчас открыт лишь небольшой группе проверенных партнёров, а на странице Anthropic, по словам kimmonismus в X, уже спрятана строка о Mythos 5.5 для кибербезопасности и биологии. Релиз через неделю автор только предполагает. Сколько недель, по-вашему, пройдёт до анонса Mythos 5.5?
Читайте также
- Свежие модели принесли Anthropic больше 80% выручки Q3
- Anthropic выходит на Nasdaq под тикером ANT
- Anthropic за пять месяцев съехала с git на свою Scion
- Патчи в CI у Anthropic жили 70 дней, 29 дней и меньше суток
- Шесть правок от Claude Opus 4.6 попали в ядро Linux 7.3
- Claude в Linear и Ramp можно оплачивать без API-ключа
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

