Harness rebuilt its Git repository for nonstop AI agent traffic

Harness пересобрала свой Git-репозиторий под непрерывный трафик кодовых агентов и выпустила вместе с ним продукт AI Code Review, на котором её собственные инженеры, по подсчётам компании, экономят больше 10 000 часов ручного ревью в месяц. Field CTO Harness Мартин Рейнольдс рассказал The New Stack, что рост объёма нового кода у отдельных команд доходит до десятикратного.

Коротко

• Тестовые команды первыми упёрлись в предел: во время ранних испытаний GitHub Copilot и Amazon CodeWhisperer в самой Harness объём нового кода вырос в 1,5–2 раза, и пул-реквесты начали застревать.
• AI Code Review опирается на карту пайплайнов, деплоев, инцидентов и политик заказчика, которую в Harness называют графом знаний о доставке ПО и строили большую часть последних двенадцати месяцев.
• Репозиторий работает на Kubernetes в нескольких облаках и регионах, его тестировали на тысячах коммитов в секунду, а в бете использовали около 20 корпоративных клиентов, которых Harness не называет.

Узкое место сместилось: генерация кода перестала быть дефицитом, дефицитом стало внимание человека, который подписывает изменения. Продуктовая ставка Harness выглядит как попытка занять именно это звено конвейера, где инструменты ревью пока слабее генераторов кода. Для большинства команд ближайший практический выигрыш даёт, вероятно, не смена Git-хостинга: важнее понимать, какие файлы в пул-реквесте действительно требуют человека, а какие приехали вместе с обновлением зависимости.

Рост объёма нового кода дошёл до десятикратного, а отдельные команды называют пятидесятикратный

Рейнольдс говорит, что впервые столкнулся с этим узким местом во время ранних испытаний GitHub Copilot и Amazon CodeWhisperer в самой Harness: пул-реквестов стало больше, но все они застревали, а тестовая команда жаловалась, что не справляется с потоком. Рост объёма нового кода в 1,5–2 раза довёл тестировщиков до предела, а сейчас он иногда доходит до десятикратного.

По его словам, жалобы инженерных руководителей на то, что они тонут в пул-реквестах, стали постоянной темой разговоров в кулуарах. Один из руководителей на вопрос, как его команда успевает за агентами, ответил, что не успевает, и объяснил, что порог для выкатки кода в продакшен у неё снизился.

Клиенты, с которыми говорит Рейнольдс, делятся на три группы: одни подняли допустимый уровень риска, другие накопили неуправляемый бэклог, но чаще всего компании оказываются посередине и подключают ещё один инструмент на базе ИИ, который сам по себе проблему не снимает.

Тридцать файлов от обновления зависимости не должны отвлекать ревьюера

Ревьюер Harness работает и с пул-реквестами, которые уже лежат на GitHub. В идеале открывающий пул-реквест сначала видит самые важные изменения, считает Рейнольдс, а смотреть их должен тот, кто уже работал с этой частью кодовой базы, а не автор промпта или самого кода; тридцать файлов, изменённых из-за обновления зависимости, требуют внимания в последнюю очередь.

Дело не только в модели, отмечает Рейнольдс: большую часть последних двенадцати месяцев Harness строила граф знаний о доставке ПО, чтобы ревьюер получал контекст быстро и не сжигал много токенов. Собственный пример компании: миграцию пометили, потому что разбор прошлого инцидента показал, как неиндексированный CREATE INDEX заблокировал продакшен-таблицу на 14 минут.

По собственному подсчёту Harness, её инженеры экономят больше 10 000 часов ручного ревью в месяц. В тот же день, когда компания объявила о запуске, ревью кода в GitHub Copilot начало проверять пул-реквесты, открытые ботами, включая те, что создаёт собственный кодовый агент GitHub.

GitHub обрабатывает 2,9 млрд коммитов в месяц, в среднем чуть больше тысячи в секунду

Агенты не работают с девяти до пяти, говорит Рейнольдс: по его словам, клиенты Harness, сидящие на GitHub, нередко присылали скриншоты недоступного сервиса. Причину он видит в том, что GitHub изначально строили под людей, команды до 10–15 человек, чьи пул-реквесты живут от нескольких часов до пары дней.

17 августа платформа GitHub была недоступна почти восемь часов. В разборе инцидента технический директор GitHub Влад Фёдоров написал, что критический компонент инфраструктуры в дата-центре Central US не смог масштабироваться, когда трафик вышел на новый пик. Таких объёмов Harness не обслуживает, и для корпоративных клиентов это может оказаться преимуществом.

Репозиторный сервис Harness продаёт с 2023 года, когда запустила Harness Code поверх своего открытого Git-проекта. Пересобранную версию Рейнольдс описывает как AI-first репозиторий, сделанный с нуля и рассчитанный и на людей, и на ИИ: Kubernetes, несколько облаков и регионов, тесты на тысячах коммитов в секунду.

Что остаётся детерминированным

Рейнольдс говорит, что детерминированные инструменты никуда не денутся и результаты тестов по-прежнему приходят от тест-раннера: вырывать их и заменять незачем, вопрос в том, где их можно усилить. Возможности для автономного цикла доставки, по его словам, существуют уже сегодня, но готовы ли к нему организации, он не уверен. Сроков перевода клиентов на новый репозиторий Harness не называет, а сам переезд в крупных компаниях остаётся долгим проектом.