Claude переписал Messages API с Python на Rust

Anthropic целиком перевела Messages API с питоновского монолита на Rust, хотя Rust-разработчиков в команде не было: код писал Claude, рассказали руководители инженерии и продукта Кейтлин Лессе и Анджела Цзян в материале Latent Space от 1 ноября. Тем, кто работает с Claude через API, переезд сокращает ожидание первого токена на 10-20%, а на длинных задачах сильнее. Но это грубая прикидка, которую дали в Anthropic, и относится она к сервисному слою API, а не к скорости, с которой модель генерирует ответ.

Из той же прикидки и вторая цифра: CPU расходуется примерно на 40-50% меньше. Опубликованной методики замеров, описания нагрузки и перцентилей задержки за обеими цифрами пока нет. Механика выигрыша понятная: сервис API принимает запрос, обрабатывает его и отдаёт ответ, и чем меньше процессорного времени уходит на эту обвязку, тем раньше приходит первый токен. Как быстро модель выдаёт следующие токены, такая оптимизация сама по себе не меняет.

Почему упёрлись в CPU

Когда одна из гостей пришла в Anthropic чуть больше года назад, Messages API был монолитом на Python и работал в одном регионе GCP. С тех пор API стал мультирегиональным, но ещё в начале этого года в команде говорили, что «упрутся в стену по CPU». Обычные процессоры сейчас для Anthropic такое же узкое место, как ускорители: CPU выторговывают у облачных провайдеров и делят внутри компании между продуктовыми сервисами, API, песочницами для агентов и для исследований и CI. Раньше мощности добирали по требованию, пока позволял бюджет, а теперь их приходится планировать заранее.

CI в разговоре упомянули отдельно: кода пишут гораздо больше, значит, и прогонов больше, и каждому нужен процессор. У самой Anthropic число задач CI за полгода выросло в 25 раз, такими были данные на сентябрь.

Чистый порт

Rust выбрали потому, что питоновский монолит расходовал CPU неэффективно, и в разговоре это решение назвали безумным для того момента: «у нас в комнате нет ни одного Rust-разработчика». Роли распределили так: «Код будет писать Claude. Систему проектируют люди». Люди отвечали за архитектуру распределённой системы, а Claude ещё и помогал им обкатывать идеи и осваивать то, чего они не знали. Важнее всего оказались план и проверка результата, а сама реализация свелась к тому, что код пишет Claude.

Для проверки собрали полную копию всего API на Rust и пустили через неё теневой трафик: копии боевых запросов, ответы на которые пользователям не уходят. Ответы питоновской и Rust-версии сверяли между собой, а потом новую систему постепенно включили; полная раскатка, по словам гостей, закончилась на неделе перед записью интервью. Обычно такую миграцию переносили бы по кускам, и это «легко заняло бы несколько лет». Здесь портировали всё разом.

Новых функций в порт не добавляли. Небольшая отдельная команда переносила код, пока остальные продолжали дописывать возможности в API, и разбиралась со статическим анализом, который ругался на каждую новую функцию без Rust-версии. Пару людей с опытом Rust по ходу всё же наняли, а участники порта сейчас, наверное, и сами назвали бы себя Rust-разработчиками.

Состояние диалога на стороне Anthropic

Следующая цель той же команды - переделка архитектуры, в том числе заметная пользователям. Одна из идей: не гонять в каждом запросе туда и обратно всю историю разговора, если клиент согласен, чтобы Anthropic какое-то время хранила это состояние у себя. С prompt caching историю всё равно приходится передавать целиком. Особенно заметный выигрыш по задержке и эффективности в Anthropic ждут на длинных разговорах, где контекст разрастается.

Подходящую форму вычислений под такой API в компании ещё подбирают: Anthropic работает во всех трёх облаках и может полагаться только на самые базовые типы машин, общие для всех.