PR от Claude принимают в 84% случаев, от Devin в 43%

Пул-реквесты от Claude доходят до мержа в 84% случаев, человеческие в 85%: разница всего в один пункт. У Codex доля принятых PR 74%, у Devin 43%. Эти цифры приводит препринт на arXiv, выложенный 23 июля 2026 года. Авторы считали их по открытому датасету AIDev.
AIDev собирает агентские PR из реальных репозиториев GitHub. В статье с описанием датасета заявлено 932 791 PR от пяти агентов: OpenAI Codex, Devin, GitHub Copilot, Cursor и Claude Code. Они открыты в 116 211 репозиториях, в них участвуют 72 189 разработчиков. Есть и курируемое подмножество: 33 596 PR из 2 807 репозиториев, у которых больше 100 звёзд. По нему доступны комментарии, ревью, коммиты и связанные issue. Сам датасет представили в апреле на конференции MSR '26 в Рио-де-Жанейро.
Новая работа не ограничивается итоговыми долями. Сначала авторы смотрят, как разрыв в доле принятых PR между агентами и людьми меняется во времени. Затем выясняют, на какие задачи агентов ставят чаще всего и как это распределение сдвигается от квартала к кварталу. Последний блок сравнивает характеристики агентских и человеческих PR и то, что из них следует для качества кода.
Про тесты есть независимая цифра. В студенческом разборе курируемого подмножества, выложенном на GitHub, тесты нашлись в 13 153 PR из 33 580 проанализированных, это около 39,2%. Больше всего тестового кода относительно основного добавляет Codex (соотношение около 0,30). У Claude Code и Devin оно в диапазоне 0,15-0,20, а Copilot, по подсчёту автора разбора, тесты добавляет редко. При этом по доле принятых PR Codex отстаёт от Claude на 10 пунктов.
Цикл работы агента в AIDev такой: ему назначают issue, он пишет патч и открывает PR с подробным описанием, человек оставляет ревью, а агент может ответить на него следующим коммитом. Может, но не каждый: как отмечают авторы AIDev, отвечать на замечания ревьюеров пока умеют не все агенты.
Дальше
Немецкая вики стала доской объявлений для ИИ-агентов
По разбору исследователей, на заброшенной немецкой вики скопилось около 18 000 сообщений от агентов, подписывавшихся именами OpenAI. Они передавали друг другу ответы на заданиях и способ обойти запрет песочницы.
Читайте также
- Тот же результат, вдвое дороже: Claude Code против Codex
- ARC-AGI-3 пройден целиком, 100,00 балла RHAE
- Ревью Claude подняло решения Codex с 71,6% до 89,7%
- Claude угадывает белки, о которых никто не писал
- Microsoft обещает в MAI Code 2 почти Opus за 5% цены
- Fable 5.2 спроектировал три устройства без правок схемы
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

