Перейти к содержанию

Anthropic

Anthropic за пять месяцев съехала с git на свою Scion

5 мин чтения

Текст написан ИИ-моделью по источникам, на которые ведут ссылки, и сверен с ними второй моделью. Как мы работаем

Всё о теме: Агенты для программирования →
Изображение: aiwithrahish.com

Anthropic за пять месяцев перевела свой монорепозиторий с git на собственную систему контроля версий Scion: когда число слияний выросло до более чем 30 000 в день, одному только CI стало нужно порядка 25 млн чекаутов в сутки, и наивная выгрузка через git дала бы больше 600 петабайт трафика в день. Первыми с ростом слияний перестали справляться обходные пути, на которых git обычно держится в большом монорепозитории: несколько сотен внутренних зеркал, снимки репозитория и частичные клоны. Сама Anthropic оговаривается, что большинству организаций в ближайшее время такие проблемы не грозят, но ожидает, что командам с ИИ-инструментами для кода те же узкие места встретятся довольно скоро.

Подробности опубликованы 13 октября в инженерном блоге Anthropic. В мае в монорепозиторий вливали в среднем около 2 500 изменений в день. Узким местом, по словам компании, стал не код, который пишет Claude, а инфраструктура разработки под людей: контроль версий, сборки и CI. За те же пять месяцев Anthropic сделала площадку для ревью кода Antique, поиск по коду, систему прав доступа к репозиторию и новые способы вливать большие объёмы проверенного кода. Claude в этой истории и причина нагрузки, и инструмент, которым систему построили.

Почему git перестал помещаться

История одной только ветки main весит почти 100 ГБ, сжатая рабочая копия - больше 25 ГБ. И 25 млн чекаутов в сутки приходятся только на CI, без сред разработчиков, песочниц агентов и исследовательских задач.

Средства git для работы с частью репозитория Anthropic перепробовала все: shallow clone, sparse checkout, promisor remotes (удалённый репозиторий, который досылает недостающие объекты по запросу). Сверху стояли обычные для больших монорепозиториев внутренние зеркала и снимки репозитория (seeds) в blob-хранилище. Всё это лишь выиграло время. С ростом числа слияний seeds между обновлениями всё дальше отставали от вершины main, а чтобы diff и blame работали на частичных клонах, требовалось всё больше усилий.

Децентрализованное устройство git, где каждый клон умеет считать diff, читать историю и переключаться на любую ревизию без сети, Anthropic называет правильным для подавляющего большинства репозиториев. Но, как и большинство компаний, она пользовалась git централизованно, с одной главной копией, а клиентами были в основном агенты и задачи, онлайн по определению. Свойства, ради которых git хорош для распределённой офлайн-работы, мешали масштабироваться по мере роста репозитория.

Что делает сервер, а что клиент

Системы для гигантских монорепозиториев существовали и до Scion, прежде всего Piper в Google и Sapling в Meta, и Scion строили с оглядкой на их опыт. Главное отличие от git - асимметрия. Сервер Scion отвечает на вопросы об истории файлов и blame, создаёт коммиты, делает merge и rebase. Клиент держит ограниченный локальный кэш объектов, раскладывает файлы рабочей копии и следит за изменениями в файловой системе. Сам он вычисляет совсем немного, зато и данных локально ему нужно гораздо меньше.

Единица работы в Scion - changeset, запись в журнале упреждающей записи (write-ahead log). Коммит git указывает на дерево, а changeset хранит список файлов, изменившихся относительно первого родителя, и адресуемые по содержимому указатели на сжатые файлы в blob-хранилище. Создаются changeset'ы на сервере, так что пушить нечего. Принимать их можно с очень высокой скоростью: нет packfile, блокировок, координации между серверами и refs, которые надо двигать. Стоимость коммита должна расти только с размером изменения, иначе сервер не успеет. Refs Scion поддерживает, но процесс разработки их не поощряет, кроме main и релизных веток, потому что глобальное состояние, о котором должны договориться все серверы, грозит проблемой масштабирования. Сдвинуть ref - отдельная операция compare-and-swap в одной строке Spanner.

Blame, историю путей и skip-списки для графа коммитов Scion строит из changeset'ов как «производные данные». Каждый их тип определён рекурсивно, через значения для родителей, и для каждого можно выбрать, считать его сразу или отложить. Клиент внутренностей этих структур не видит, поэтому их оптимизируют без изменений в клиенте. Новые типы добавляли много раз, например индексы для обнаружения копирования и для поиска файлов по пути.

Серверов Scion немного, и по сути они большие кэши, которые ещё и считают производные данные на лету, записывая результат обратно в Spanner. Все данные адресуются по содержимому и после записи не меняются, так что любой сервер кэширует их, не сверяясь с остальными. Полной материализованной копии репозитория нет нигде, даже на сервере, а обслуживать репозиторий не нужно вовсе.

Клиент scn при выгрузке не сообщает серверу, что у него уже есть. Он начинает с корневого дерева, рекурсивно запрашивает недостающие деревья, потом блобы. Каждый запрос - за конкретный неизменный объект, поэтому ответить может любой уровень кэша, а прерванную загрузку легко продолжить: одного многогигабайтного packfile в ответе нет. Sparse checkout и виртуализированный checkout, при котором файлы появляются на диске по мере чтения, особой поддержки не требуют: клиент просто не просит ненужных деревьев. В кластере клиент общается через сокет с демоном scion-daemon, который хранит объекты для всего узла. Такая архитектура, по словам Anthropic, требует заметно меньше CPU, чем серверы git.

Запрос вместо клона

Все запросы, которыми пользуется клиент, Scion отдаёт и через API, поэтому многим задачам локальный репозиторий не нужен совсем. Задача CI, которой нужен diff между коммитом и его merge base, получает его от сервера, и многие операции записи тоже идут через API без чекаута. В git тому же инструменту пришлось бы держать свою копию репозитория или надеяться на API конкретного хостинга. Автоматические пайплайны bisect и revert в Anthropic, по словам компании, без такого дешёвого программного доступа в её масштабе были бы непрактичны.

С таких запросов Scion и начинался. В начале миграции, ещё без своего клиента, формата репозитория и протоколов, он отвечал только на вопросы о метаданных: о предках коммитов и blame. Выгрузка файлов и рабочих копий требует куда больше данных, и для неё пришлось проектировать отдельную схему.

Замедления роста в Anthropic не ждут: «скрытый спрос на слияние кода практически бесконечен, и каждое узкое место, которое мы убираем, сразу ведёт к новому росту объёма кода, который мы производим».

AI-индустрияGoogle

Gemini 4 Argon делит миллион токенов между вводом и ответом, Видео

Лимит Gemini 4 Argon в 1 миллион токенов Google теперь называет «общим на вход и выход», а 30 сентября это был потолок вывода. Загрузите 800 000 токенов кода, и на ответ останется 200 000. Бывало, что длинный промпт съедал у модели место на ответ?

Пока никто не написал. Будьте первым.

Присоединяйтесь к разговору

Войдите, чтобы оставить комментарий. Он появится после модерации.