2,9 миллиарда коммитов в месяц и восьмичасовой сбой

GitHub опубликовал разбор сбоя 17 августа, который длился почти восемь часов, и раскрыл в нём текущую нагрузку: 2,9 миллиарда коммитов, 130 миллионов влитых пул-реквестов и 24 миллиона новых репозиториев в месяц. Ещё в апреле платформа с трудом справлялась с 1,4 миллиарда коммитов, напоминает The New Stack, и связывает этот рост прежде всего с популярностью кодинг-агентов.
Технический директор GitHub Влад Фёдоров подчёркивает, что изменения в коде к сбою отношения не имели: у инфраструктуры кончилась мощность. Для GitHub это уже второй крупный сбой только за август. «Прогресс есть, но эти инциденты ясно показывают, что работу нужно ускорить», признаёт Фёдоров.
Почему упала аутентификация
Цепочка в разборе короткая. «Расследование показало, что сбой начался, когда трафик вышел на новый пик, а критичный компонент инфраструктуры в нашем дата-центре Central US не смог масштабироваться вслед за ним», объясняет Фёдоров. Дальше нехватка мощности, по его словам, расползлась по системам, вызвала отказы аутентификации и нарушила работу сразу нескольких сервисов GitHub.
Через проверку входа и прав проходит большинство действий на платформе, поэтому её отказ бьёт по всем сервисам, которые от неё зависят, даже если сами они исправны. А когда сервис отвечает медленно или с ошибками, клиенты и соседние сервисы повторяют запросы, и повторный трафик ложится на тот же узел, которому и так не хватает мощности.
Против этого GitHub сейчас и настраивает защиту: единые лимиты и бюджеты на повторные запросы, а также пересмотренные таймауты во всех взаимодействиях между сервисами, чтобы, как формулирует Фёдоров, не допустить «штормов повторных запросов и каскадной нагрузки». Бюджет повторов ограничивает долю повторных запросов в общем потоке: сверх неё клиент получает ошибку, а не шлёт запрос ещё раз. Позже, в отчёте о доступности за август, GitHub отдельно назвал среди задач по итогам месяца политики повторных запросов, которые увеличили масштаб последствий, а рядом с ними мониторинг и управление мощностью и устойчивость ключевых сервисов.
Три миллиона ядер, и всё равно мало
Мощности при этом наращивают. По словам Фёдорова, за этот год GitHub добавил 3 миллиона ядер CPU и 120 петабайт быстрого хранилища. Собственные дата-центры заполнены до предела: «Мы поставили в существующие дата-центры столько оборудования, сколько позволяло доступное электропитание, и одновременно ускорили переезд в Azure».
Переезд идёт быстро. Сейчас Azure обслуживает 58% нагрузки платформы, хотя в мае на него приходилось всего 12%, и там же выполняется половина всех операций Git. Но пик 17 августа пришёлся на компонент в Central US, и запаса там не хватило.
В августовском отчёте есть и цифры по отдельным потокам, которые считаются иначе, чем общая доля нагрузки. 11 августа GitHub впервые запустил основную базу MySQL в продакшене из Azure, а 27 августа перенёс ещё две. Чтение монолита на пике шло из Azure на 64,3%, чтение Git на 54%.
Процессы, которые не успели
Фёдоров признаёт, что дело не только в железе: с ростом темпа и сложности изменений прежние операционные практики за ними не поспевали. Команды и ресурсы перевели на доступность, вложились в тестирование, более безопасные выкатки, наблюдаемость и алертинг. Параллельно GitHub изолирует критичные системы и убирает общие зависимости между ними, чтобы сбои случались реже, а их последствия оставались в одной зоне. Эта работа, по его словам, не закончена.
Как выглядит такая изоляция, видно по августовскому отчёту. Группу из 24 таблиц ядра аутентификации вынесли из mysql1, старейшей общей базы GitHub, и с её реплик ушло около миллиона запросов в секунду; чистка самих запросов сняла ещё 120 000 в секунду. В GitHub Actions изменили маршрутизацию: 33% заданий ушли с перегруженного кластера на свободные мощности, пиковая загрузка CPU кеша упала с 98% до 80%, а запаса, по оценке GitHub, хватит примерно на три месяца. Сам GitHub называет эту меру временным сдерживанием.
Кому это на руку
Нестабильность GitHub открыла окно для конкурентов. Entire, стартап бывшего CEO GitHub Томаса Домке, делает ставку на распределённую систему, рассчитанную на нагрузку от агентской разработки. Cursor со своим Origin тоже вышел на этот рынок, и бета Origin открылась 17 августа, в день восьмичасового сбоя GitHub.
Дальше
Claude Code 2.1.238 учит Ctrl+W стирать до пробела
До 3 минут Claude Code 2.1.238 терпит короткие отказы HTTP 403 от сетевого края, VPN или прокси, не разрывая сессию Remote Control. Если блокировка держится дольше, в сообщении называют того, кто её ставит.
Читайте также
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

