Модели Anthropic не вышли на фронтир в PR-ревью на уязвимости

DAM Secure прогнал 10 моделей по 10 pull request с одной внедрённой ошибкой контроля доступа (IDOR, отсутствие авторизации), по пять запусков на модель, и построил границу «стоимость на PR против F1». Ни одна модель Anthropic на эту границу не попала.

Лидирует GPT-5.6 Sol: F1 0,91, первые 100% recall на этом стенде и 0,70 доллара за PR. Из моделей Anthropic лучший результат у Claude Sonnet 4.6 (F1 0,82, около 1,22 доллара за PR). Конфигурация Fable 5 с откатом на Opus 4.8 оказалась самой дорогой (около 3,61 доллара за PR) и осталась вне фронтира по обеим осям.

Репозитории синтетические и закрытые, чтобы исключить попадание в обучение и подгонку под бенчмарк. Те же результаты DAM Secure получил на обвязках Pydantic и Claude Code. Отдельный замер по полному сканированию кодовой базы команда обещает позже.