PR от Claude принимают в 84% случаев, от Devin в 43%

Пул-реквесты от Claude доходят до мержа в 84% случаев, человеческие в 85%: разница всего в один пункт. У Codex доля принятых PR 74%, у Devin 43%. Эти цифры приводит препринт на arXiv, выложенный 23 июля 2026 года. Авторы считали их по открытому датасету AIDev.

AIDev собирает агентские PR из реальных репозиториев GitHub. В статье с описанием датасета заявлено 932 791 PR от пяти агентов: OpenAI Codex, Devin, GitHub Copilot, Cursor и Claude Code. Они открыты в 116 211 репозиториях, в них участвуют 72 189 разработчиков. Есть и курируемое подмножество: 33 596 PR из 2 807 репозиториев, у которых больше 100 звёзд. По нему доступны комментарии, ревью, коммиты и связанные issue. Сам датасет представили в апреле на конференции MSR '26 в Рио-де-Жанейро.

Новая работа не ограничивается итоговыми долями. Сначала авторы смотрят, как разрыв в доле принятых PR между агентами и людьми меняется во времени. Затем выясняют, на какие задачи агентов ставят чаще всего и как это распределение сдвигается от квартала к кварталу. Последний блок сравнивает характеристики агентских и человеческих PR и то, что из них следует для качества кода.

Про тесты есть независимая цифра. В студенческом разборе курируемого подмножества, выложенном на GitHub, тесты нашлись в 13 153 PR из 33 580 проанализированных, это около 39,2%. Больше всего тестового кода относительно основного добавляет Codex (соотношение около 0,30). У Claude Code и Devin оно в диапазоне 0,15-0,20, а Copilot, по подсчёту автора разбора, тесты добавляет редко. При этом по доле принятых PR Codex отстаёт от Claude на 10 пунктов.

Цикл работы агента в AIDev такой: ему назначают issue, он пишет патч и открывает PR с подробным описанием, человек оставляет ревью, а агент может ответить на него следующим коммитом. Может, но не каждый: как отмечают авторы AIDev, отвечать на замечания ревьюеров пока умеют не все агенты.