Перейти к содержанию

Claude Code

Путь «hi» в Claude Code: десять слоёв до весов модели

4 мин чтения

Текст написан ИИ-моделью по источникам, на которые ведут ссылки, и сверен с ними второй моделью. Как мы работаем

Всё о теме: Claude Code: версии и изменения →
Изображение: the-agent-stack.com

Клиффорд и Гаурав из Nori Agentic проследили, через что проходит одна реплика «hi» в Claude Code. На сайте The-agent-stack, опубликованном 10 октября, путь от поля ввода до весов модели на GPU разбит на десять слоёв и разделён на две половины. Интерфейс, контекст, обвязка (harness) и инструменты принадлежат приложению. API, дата-центр, кэш, инференс, GPU и веса остаются у провайдера.

Граница между половинами проходит по HTTP POST к API. Авторы называют её «линией, где заканчивается ваш контроль»: за ней вы не видите и не можете изменить, как обслуживается запрос. На анимированной схеме запрос подписан req_7f3a и идёт по кругу от интерфейса до весов и обратно.

Первый слой, интерфейс, отвечает только за показ, исполнением он не занимается. Поэтому один и тот же агент может выглядеть как терминал, панель в редакторе, нативное приложение или чат-бот. В Agent Client Protocol эта роль называется клиентом.

Контекст - это всё, что модель видит до ответа, и большая часть его берётся из файловой системы: AGENTS.md, skills, исходники, вывод прошлых вызовов инструментов. Авторы отделяют этот слой от самого контекстного окна. Здесь решается, откуда материал берётся, а что загрузить и в каком порядке, выбирает обвязка.

Сама обвязка - код вокруг модели, который делает из неё агента. Она крутит один цикл: прочитать контекст, вызвать модель, разобрать ответ, запустить запрошенные инструменты, вернуть результаты и пойти на следующий круг, пока работа не закончена. Claude Code, Codex и Nori в этой схеме - три обвязки одного типа. В справочнике Modular к этому добавляют, что обвязка не делает модель способнее, потому что веса остаются прежними.

Инструменты - то, чем агент действует за пределами модели: команды в shell, чтение и правка файлов, загрузка URL, вызов MCP-сервера. Набор и инструкции к нему у каждой обвязки свои, поэтому одна и та же модель ведёт себя по-разному в зависимости от того, что ей выдали. Похожее наблюдение есть в гайде Sidbharath: Claude Code, Codex, Amp и Factory работают на фронтирных моделях, но с одним репозиторием и одним багом идут разными путями.

Важная деталь схемы касается возврата. Результат инструмента не уходит в модель, его получает обвязка. Она читает вывод, решает, что делать дальше, и только после этого обращается к API. Через неё проходит туда и обратно каждый вызов инструмента.

У самой границы у вас остаются два рычага. Первый - политика корпоративного плана, которая действует на всю команду. Второй - AI-шлюз, промежуточный API: он считает расходы по каждому пользователю, ограничивает список доступных моделей и выдаёт один ключ на нескольких провайдеров.

Дальше запрос попадает в регион провайдера, его направляют на конкретную машину, и обслуживают его два соседних сервиса: кэш и инференс. GPU работают внутри инференса, на них загружены веса модели.

Кэширование позволяет не платить дважды за работу прошлого запроса. Провайдеры кэшируют префикс промпта, поэтому любая ранняя правка, будь то системный промпт или описание инструмента, сбрасывает всё, что идёт после неё. Живёт такой кэш обычно от пяти минут до часа. Отсюда вывод авторов: выбор обвязки и долгие паузы между репликами напрямую отражаются в счёте. В исходниках самого Claude Code на этом построена экономия: дочерние агенты-форки получают байт-в-байт одинаковый префикс, и, по оценке из сентябрьского разбора, это экономит около 95% входных токенов.

Инференс превращает ваши токены в токены модели. Сначала весь промпт читается за один проход, потом ответ генерируется по одному токену, а ваш запрос идёт в пакете с чужими, чтобы железо не простаивало. Для каждого нового токена модели обычно нужно заново пройти по всему предыдущему тексту. Поэтому сервис сохраняет промежуточный результат, два вектора (ключ и значение) на каждый уже обработанный токен, и переиспользует их. Это хранилище называют KV-кэшем. Из-за него второй токен обходится намного дешевле первого, и из-за него же длинный разговор стоит не только времени, но и памяти: кэш растёт с каждым токеном.

В дата-центровом GPU несколько сотен небольших процессоров. В каждом есть тензорные ядра, которые за одну инструкцию перемножают кусок матрицы, а рядом стоит память с высокой пропускной способностью. Скорость генерации, по словам авторов, упирается в то, как быстро веса выходят из этой памяти, а сырая вычислительная мощность здесь вторична.

Последний слой - сами веса, выученные числа, из которых и состоит модель. Токен проходит слой за слоем матричных умножений, пока на выходе не появится один токен ответа. Плотная модель прогоняет каждый токен через все параметры. В разреженной со смесью экспертов каждый слой разбит на много отдельных блоков, и небольшой маршрутизатор выбирает для каждого токена несколько из них, остальные не трогает. Поэтому, как пишут авторы, число параметров перестало предсказывать стоимость: разреженная модель может нести триллион параметров и при этом на каждом токене выполнять работу куда меньшей модели.

Пока никто не написал. Будьте первым.

Присоединяйтесь к разговору

Войдите, чтобы оставить комментарий. Он появится после модерации.