Путь «hi» в Claude Code: десять слоёв до весов модели

Клиффорд и Гаурав из Nori Agentic проследили, через что проходит одна реплика «hi» в Claude Code. На сайте The-agent-stack, опубликованном 10 октября, путь от поля ввода до весов модели на GPU разбит на десять слоёв и разделён на две половины. Интерфейс, контекст, обвязка (harness) и инструменты принадлежат приложению. API, дата-центр, кэш, инференс, GPU и веса остаются у провайдера.
Граница между половинами проходит по HTTP POST к API. Авторы называют её «линией, где заканчивается ваш контроль»: за ней вы не видите и не можете изменить, как обслуживается запрос. На анимированной схеме запрос подписан req_7f3a и идёт по кругу от интерфейса до весов и обратно.
Первый слой, интерфейс, отвечает только за показ, исполнением он не занимается. Поэтому один и тот же агент может выглядеть как терминал, панель в редакторе, нативное приложение или чат-бот. В Agent Client Protocol эта роль называется клиентом.
Контекст - это всё, что модель видит до ответа, и большая часть его берётся из файловой системы: AGENTS.md, skills, исходники, вывод прошлых вызовов инструментов. Авторы отделяют этот слой от самого контекстного окна. Здесь решается, откуда материал берётся, а что загрузить и в каком порядке, выбирает обвязка.
Сама обвязка - код вокруг модели, который делает из неё агента. Она крутит один цикл: прочитать контекст, вызвать модель, разобрать ответ, запустить запрошенные инструменты, вернуть результаты и пойти на следующий круг, пока работа не закончена. Claude Code, Codex и Nori в этой схеме - три обвязки одного типа. В справочнике Modular к этому добавляют, что обвязка не делает модель способнее, потому что веса остаются прежними.
Инструменты - то, чем агент действует за пределами модели: команды в shell, чтение и правка файлов, загрузка URL, вызов MCP-сервера. Набор и инструкции к нему у каждой обвязки свои, поэтому одна и та же модель ведёт себя по-разному в зависимости от того, что ей выдали. Похожее наблюдение есть в гайде Sidbharath: Claude Code, Codex, Amp и Factory работают на фронтирных моделях, но с одним репозиторием и одним багом идут разными путями.
Важная деталь схемы касается возврата. Результат инструмента не уходит в модель, его получает обвязка. Она читает вывод, решает, что делать дальше, и только после этого обращается к API. Через неё проходит туда и обратно каждый вызов инструмента.
У самой границы у вас остаются два рычага. Первый - политика корпоративного плана, которая действует на всю команду. Второй - AI-шлюз, промежуточный API: он считает расходы по каждому пользователю, ограничивает список доступных моделей и выдаёт один ключ на нескольких провайдеров.
Дальше запрос попадает в регион провайдера, его направляют на конкретную машину, и обслуживают его два соседних сервиса: кэш и инференс. GPU работают внутри инференса, на них загружены веса модели.
Кэширование позволяет не платить дважды за работу прошлого запроса. Провайдеры кэшируют префикс промпта, поэтому любая ранняя правка, будь то системный промпт или описание инструмента, сбрасывает всё, что идёт после неё. Живёт такой кэш обычно от пяти минут до часа. Отсюда вывод авторов: выбор обвязки и долгие паузы между репликами напрямую отражаются в счёте. В исходниках самого Claude Code на этом построена экономия: дочерние агенты-форки получают байт-в-байт одинаковый префикс, и, по оценке из сентябрьского разбора, это экономит около 95% входных токенов.
Инференс превращает ваши токены в токены модели. Сначала весь промпт читается за один проход, потом ответ генерируется по одному токену, а ваш запрос идёт в пакете с чужими, чтобы железо не простаивало. Для каждого нового токена модели обычно нужно заново пройти по всему предыдущему тексту. Поэтому сервис сохраняет промежуточный результат, два вектора (ключ и значение) на каждый уже обработанный токен, и переиспользует их. Это хранилище называют KV-кэшем. Из-за него второй токен обходится намного дешевле первого, и из-за него же длинный разговор стоит не только времени, но и памяти: кэш растёт с каждым токеном.
В дата-центровом GPU несколько сотен небольших процессоров. В каждом есть тензорные ядра, которые за одну инструкцию перемножают кусок матрицы, а рядом стоит память с высокой пропускной способностью. Скорость генерации, по словам авторов, упирается в то, как быстро веса выходят из этой памяти, а сырая вычислительная мощность здесь вторична.
Последний слой - сами веса, выученные числа, из которых и состоит модель. Токен проходит слой за слоем матричных умножений, пока на выходе не появится один токен ответа. Плотная модель прогоняет каждый токен через все параметры. В разреженной со смесью экспертов каждый слой разбит на много отдельных блоков, и небольшой маршрутизатор выбирает для каждого токена несколько из них, остальные не трогает. Поэтому, как пишут авторы, число параметров перестало предсказывать стоимость: разреженная модель может нести триллион параметров и при этом на каждом токене выполнять работу куда меньшей модели.
Дальше
Агенты Anthropic заполняли визовые анкеты на сайте Госдепа
«19 визовых заявок в августе и ещё одна в мае»: так Госдеп, по данным Washington Post, посчитал работу тестовой модели Anthropic. Сама Anthropic в блоге признала, что её агенты лезли на правительственные сайты.
Читайте также
- Claude Code отдал свой TypeScript вместе с source maps
- Как команда Claude Code проверяет код от Claude
- Claude Code перестал выдавать удаление файлов за чтение
- Claude Code научился звать инструменты из JavaScript
- Проекты Claude Code: координатор, /btw, /fork, напоминания
- Claude Code 2.1.323 добавил экспериментальный Code Mode
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

