Перейти к содержанию

Anthropic

Claude переписал Messages API с Python на Rust

4 мин чтения

Наш ИИ-аналитик сам проверил эту историю: запускал, считал, сверял с оригиналами. Что мы проверили

Текст написан ИИ-моделью по источникам, на которые ведут ссылки, и сверен с ними второй моделью. Как мы работаем

Всё о теме: Агенты для программирования →
Изображение: latent.space

Anthropic перевела Messages API с питоновского монолита на Rust, а код порта писал Claude, рассказали руководители инженерии и продукта Кейтлин Лессе и Анджела Цзян в выпуске подкаста Latent Space от 27 октября. Тем, кто работает с Claude через API, порт сокращает время до первого токена: по прикидке самой Anthropic, на 10-20%, и выигрыш этот приходится на сервисный слой API вокруг модели. Закончили порт, судя по датам, ещё в середине сентября.

Экономия CPU, по словам одного из гостей, составила «где-то 40-50%», а на более долгих нагрузках выигрыш по задержке выше. Обе цифры - оценки руководителя Anthropic, а не опубликованные бенчмарки. Сервисный слой принимает и обрабатывает запрос и доставляет ответ. Если он тратит на это меньше, первый токен может прийти раньше, при том что скорость, с которой модель выдаёт следующие токены, от этого не меняется.

Порт одним куском

«Мы выбрали Rust, и на тот момент решение было безумным», - вспоминает один из гостей. На бумаге выбор очевиден, но в команде, по его словам, не было ни одного Rust-разработчика. Труд поделили так: «Код будет писать Claude. Систему проектируют люди». Люди следили, чтобы на выходе получилась внятная распределённая архитектура, а Claude помогал им и с кодом, и с тем, чтобы разобраться в незнакомом языке и обсудить варианты.

Важнее всего, по словам гостя, оказались две вещи: план и проверка, потому что сама реализация свелась к тому, что код пишет Claude. Команда собрала полный форк API на Rust и пустила через него теневой трафик: копию реальных запросов, ответы на которую клиентам не уходят. Ответы Rust-версии сверяли с питоновскими, и только потом нагрузку начали постепенно переключать на новый код.

Обычно так не делают. Систему переносили бы по частям, кусок за куском, и такая миграция «легко заняла бы несколько лет», говорит гость. Здесь весь API перенесли разом. Порт вела отдельная команда, пока остальные продолжали добавлять в API функции; статический анализ ругался, если новую функцию сделали в Python и не учли в Rust. Свои улучшения по ходу переписки команда порта сознательно не добавляла, так что это чистый порт.

Пару людей с опытом Rust по ходу всё же наняли. А те, кто начинал порт, по словам гостя, сейчас, наверное, и сами назвали бы себя Rust-разработчиками.

Почему упёрлись в CPU

Когда один из гостей чуть больше года назад пришёл в Anthropic, Messages API был монолитом на Python в одном регионе GCP. С тех пор API работает в нескольких регионах, но ещё в этом году в команде прогнозировали: «Мы упрёмся в стену по CPU». Питоновский монолит расходовал процессор неэкономно, а CPU для Anthropic - общий бюджет. Его выбивают в сделках с облачными провайдерами и делят между продуктовыми сервисами, API, песочницами для агентов, CI и исследованиями. Кода пишется заметно больше, значит, растёт и число прогонов CI.

Раньше, объясняют гости, мощности можно было наращивать по требованию, пока позволял бюджет, а теперь их приходится планировать заранее. Перевод API на Rust гости называют одним из способов тратить имеющийся CPU экономнее, наряду с попытками просто купить ещё.

Состояние диалога на сервере

Следующая задача той же команды - перестройка архитектуры, в том числе с изменениями, которые заметят пользователи API. Одна из идей: не передавать в каждом запросе всю переписку, если клиент согласен, чтобы состояние диалога какое-то время хранилось у Anthropic. Кэш промптов этого не заменяет, историю с ним всё равно приходится слать заново. Пользователей с такими длинными диалогами, по словам гостей, немного, зато по объёму токенов именно эти нагрузки дадут большинство.

Такие вещи, по словам гостей, только начинают выкатывать. Сложность ещё и в том, что Anthropic работает во всех трёх облаках и не может рассчитывать на один тип машин, кроме самых базовых.

Авторский разбор

Что мы проверили

2 ноября мы сверили даты этой истории по метаданным страницы выпуска, release notes Claude API и журналу версий Claude Code.

Как мы проверяем истории

Фраза «на прошлой неделе мы полностью выкатили Messages API на Rust» в октябрьском выпуске звучит как свежая новость, но разговор записан на следующий день после запуска Opus 5.5, а Opus 5.5, по release notes Claude API, вышел 22 сентября; в тот же день модель появилась и в Claude Code. Выходит, порт закончили примерно в середине сентября, больше чем за пять недель до публикации. Если вы сравниваете время до первого токена до и после порта, точку отсчёта ищите в середине сентября.

ClaudeAnthropic

На странице Anthropic нашли скрытую строку о Mythos 5.5

Claude Mythos 5 сейчас открыт лишь небольшой группе проверенных партнёров, а на странице Anthropic, по словам kimmonismus в X, уже спрятана строка о Mythos 5.5 для кибербезопасности и биологии. Релиз через неделю автор только предполагает. Сколько недель, по-вашему, пройдёт до анонса Mythos 5.5?

Пока никто не написал. Будьте первым.

Присоединяйтесь к разговору

Войдите, чтобы оставить комментарий. Он появится после модерации.