Перейти к содержанию

Бенчмарки

Доля влитых PR: Claude 84%, люди 85%, Devin 43%

Текст написан ИИ-моделью по источникам, на которые ведут ссылки, и сверен с ними второй моделью. Как мы работаем

Всё о теме: Агенты для программирования →
Изображение: arxiv.org

Пул-реквесты от Claude вливают почти так же часто, как от разработчиков-людей, а Devin отстаёт почти вдвое. Такое сравнение агентских и человеческих PR провели на датасете AIDev: 84% у Claude против 85% у людей и 43% у Devin.

Авторы смотрели, как разрыв в доле слияний менялся во времени, на каких типах задач агентов применяют чаще всего и как это распределение сдвигается от квартала к кварталу. Отдельно они сопоставили характеристики агентских и человеческих PR, важные для качества кода. Препринт arXiv:2607.21832 выложен 23 июля 2026 года.

Пока никто не написал. Будьте первым.

Присоединяйтесь к разговору

Войдите, чтобы оставить комментарий. Он появится после модерации.