Ревью от Claude подняло Codex с 71,6% до 89,7%

Проверка кода между двумя агентами окупается только в одном направлении. В контролируемом эксперименте на 116 недавних задачах lcb уровней hard и medium Claude в роли рецензента поднял долю успешных решений Codex с 71,6% до 89,7% при p_BH=0,001.
Обратная связка проиграла: Codex, проверявший черновики Claude, снизил результат с 91,4% до 82,8%. Самопроверка Codex дала 84,5%, а самопроверка Claude оставила базовые 91,4% без изменений.
Всего авторы сравнили шесть сценариев, включая одиночную работу каждой модели. Рецензент видел условие задачи и черновик, но не мог запускать тесты. Работа принята на воркшоп Agentic SE в рамках KDD'26, препринт выложен на arXiv 22 июля.
Дальше
Генпрокуроры 15 штатов требуют сохранить улики
15 штатов потребовали от Сэма Альтмана сохранить все материалы по взлому Hugging Face. В письме генпрокуроры пишут, что OpenAI не смогла подтвердить изолированность собственной тестовой среды.
Читайте также
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

