Copilot первый в тесте GitHub и четвёртый у Martian

Copilot code review занял первое место в ReviewBench, открытом бенчмарке ИИ-ревьюеров кода, который GitHub разработал вместе с Microsoft и представил 5 октября. Если ваша команда выбирает ИИ-ревьюера по этой таблице, перед вами пока результаты, которые GitHub получил сам: стартовые прогоны его команда сделала на публичных версиях продуктов, сами вендоры их не проводили и не проверяли, а в независимом онлайн-рейтинге Martian на 6 октября Copilot стоит четвёртым.
У лидера 40,1% по grounded F1, метрике, которая сводит точность и полноту в одно число и считается только по находкам, заранее известным бенчмарку. Copilot прогнали 1 октября в конфигурации Balanced, более тщательном режиме ревью, который с 28 сентября стоит по умолчанию, а Cubic и Greptile тестировали ещё в июне, обращает внимание The New Stack. Сам ReviewBench предупреждает, что продукты с тех пор могли измениться и что результат на его корпусе может не перенестись на собственный код компании.
Как пересчитать таблицу под себя
GitHub даёт перестроить лидерборд под свои приоритеты: в метрике Fβ вес можно сдвинуть к полноте, когда важнее широкое покрытие, или к точности, когда важнее меньше шума, и рейтинг пересортируется. Результаты можно разрезать и по серьёзности и категории находок.
Grounded-метрики, по которым Copilot и стоит первым, опираются только на разметку эталона. В augmented-метриках судья ещё решает, верны ли находки, которых в эталоне нет, и ревьюер получает очки за настоящие проблемы, не замеченные ни одним из источников эталона. Для сравнения систем между собой GitHub берёт grounded-полноту, потому что в augmented-варианте полнота у каждого агента считается от своего числа проблем, в зависимости от того, что он нашёл.
Кто судит ревьюеров
В корпус вошли 219 публичных пулл-реквестов из 187 публичных репозиториев на 19 языках программирования, и все ревьюеры разбирают одни и те же изменения. Отбирали их, проанализировав 103,9 миллиона пулл-реквестов: распределение по языкам и размеру репозиториев близко к GitHub в целом, а по размеру самих пулл-реквестов выборка намеренно смещена от крошечных правок в одном файле.
Что должен найти ревьюер, задаёт эталонный набор. Его собирают из комментариев людей на ревью, последующих правок авторов, статических анализаторов и LLM-ревьюеров; находки об одной и той же проблеме схлопывают, чтобы согласие нескольких источников не раздувало набор, а верной считается только находка правдивая, относящаяся к делу и нетривиальная, откуда бы она ни пришла. Классифицирует находки Claude Sonnet 5, а отдельный LLM-матчер сверяет, соответствует ли находка ревьюера проблеме из эталона.
Вручную исправили 47 находок, которые сначала классифицировали как верные, а в вопросе, верна находка или ложна, люди и классификатор совпали в 96,6% случаев. Перед релизом старшие инженеры, не участвовавшие в сборке датасета, с нуля переразметили каждую эталонную находку.
Вендоры могут присылать собственные прогоны через систему самостоятельной подачи, и новые результаты попадают в рейтинг по мере оценки, хотя конфигурацию для прогона, как замечает The New Stack, они выберут сами. Нынешний релиз GitHub называет исследовательским превью и версионирует датасет, судью и матчер каждой оценки.
Четвёртое место у Martian
Martian, исследовательская компания в области ИИ, запустила свой Code Review Bench в феврале. Он совмещает офлайн-тест с онлайн-трекером, который следит, как разработчики в реальных открытых репозиториях реагируют на комментарии ревьюеров. Уже на запуске Martian сообщила, что офлайн-результаты расходятся с тем, что видно в реальной работе, и сделала главной онлайн-метрику.
Алехандро Кардерера де Диего (Alejandro Carderera de Diego), staff applied engineer в GitHub, описывает для ReviewBench другой опыт. В день релиза он написал в LinkedIn: «Мы используем ReviewBench, чтобы улучшать GitHub Copilot Code Review, и его офлайн-результаты неизменно предвосхищали направление последующих экспериментов в продакшене».
В онлайн-таблице Martian первым идёт Cubic с 64,9% F1, за ним Greptile и CodeRabbit, а Copilot четвёртый с 60,9%, всего в 4 пунктах от лидера. В офлайн-таблице первым стоит Qodo Deep, за ним Cubic и Augment, а Copilot пятый с 58% по F2, варианту той же метрики, где полнота весит больше точности и доля пойманных проблем ценится выше.
Напрямую эти цифры с ReviewBench не сравнить: у него тоже F1-подобная метрика в основном рейтинге, но другие данные и другая методика подсчёта, а онлайн- и офлайн-тесты Martian опираются на разные виды свидетельств.
В июле LangChain выпустила свой бенчмарк ревью кода под тем же названием ReviewBench, но он меньше и проверяет модели: 59 задач из кодовой базы LangSmith, разные модели в одной настройке агента Deep Agents и никакой публичной таблицы вендоров.
Независимость Martian сделала ключевой частью своего предложения. В февральском посте авторы объясняли, что поддержка достоверного бенчмарка требует немалых денег и сил, особенно когда меняются и проверяемые инструменты, и данные для их оценки, поэтому такие бенчмарки исторически делали либо академия, либо сами вендоры. Бенчмарк и методика Martian открыты под лицензией MIT, а свою роль авторы описали так: «Мы пробуем третий вариант: хорошо финансируемую исследовательскую лабораторию, которая не обучает модели, не продаёт инструменты для написания кода и не заинтересована в том, какой инструмент выиграет».
Дальше
OpenAI тренирует агентов на договорной рутине Ironclad
Юрист настраивает в Ironclad согласование закупок, а GPT-6 Astra учится делать то же самое. На 11 таких задачах OpenAI насчитала у Astra средний балл 55,0%, у GPT-5.6 Sol было 41,6%.
Читайте также
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

