Независимый трекер меряет Codex на SWE-Bench-Pro ежедневно

Трекер Codex с моделью gpt-5.6-sol на 8 сентября 2026 года показывает дневную долю решённых задач 88% при опорной линии 83% и статусе Nominal. Замеры публикует Marginlab: модель прогоняется на отобранных задачах SWE-Bench-Pro каждый день, а отклонения от опорной линии проверяются на статистическую значимость.

Коротко

• Проект MARGIN EVALS ежедневно прогоняет отобранное подмножество SWE-Bench-Pro и проверяет статистическим тестом, отличается ли результат дня от исторического среднего значимо или укладывается в пределы статистического шума.
• На семидневном окне из 350 прогонов доля решённых задач равна 85%, на тридцатидневном окне из 1 500 прогонов также 85%, дневной срез опирается на 50 тестовых случаев.
• Отклонение признаётся значимым только за пределами полосы ±11,2% вокруг опорных 83% для дневных точек; внутри этой полосы разница считается статистическим шумом при p ≥ 0,05.

Жалобы на то, что кодовый ассистент «стал хуже», обычно остаются анекдотическими: у разработчиков нет общей шкалы, а поставщики моделей не обязаны раскрывать изменения в обслуживании развёрнутых версий. Внешний ежедневный замер с явно объявленным порогом значимости выглядит как попытка перевести этот спор в проверяемую форму. Судя по устройству трекера, ценность здесь скорее в разделении случайного разброса и настоящей просадки, чем в отдельной дневной цифре, которая сама по себе колеблется от выборки к выборке.

Замеры выполняются напрямую в Codex CLI, без собственной агентной обвязки, то есть измеряется та же связка модели и инструмента, которой пользуются разработчики. Результаты ежедневных прогонов собраны в сводку со статусом и тремя окнами: дневным, семидневным и тридцатидневным. Расчётную часть обеспечивает MARGIN EVALS.

Заявленная цель проекта: обнаруживать статистически значимые просадки Codex с gpt-5.6-sol на задачах разработки, а не фиксировать любые колебания. Опорные 83% на дашборде описаны как историческое среднее, от которого отсчитываются изменения; статус Nominal означает, что значимого отклонения от него сейчас нет.

Второй график сводит дневные прогоны в скользящее семидневное окно ради более ровной картины тренда. Порог значимости для недельных точек составляет ±3,6% вокруг тех же 83%, и на обоих графиках опорное значение нарисовано пунктиром. Сама полоса показана затенённой областью вокруг этой линии.

Каждый график имеет переключатель 95-процентных доверительных интервалов, показывающих неопределённость вокруг отдельной точки. Чем меньше прогонов в точке, тем шире интервал, а дневной срез на 8 сентября 2026 года опирается всего на 50 отработанных тестовых случаев. Недельные точки собирают больше прогонов и потому дают более узкие интервалы.

Что остаётся за рамками дашборда Ни состав отобранного подмножества SWE-Bench-Pro, ни период, за который посчитана опорная линия 83%, на странице не раскрываются, как и версии Codex CLI, на которых идут прогоны. Сводка обновляется ежедневно, последняя отметка на дашборде датирована 8 сентября 2026 года, и следующие точки покажут, удержится ли статус Nominal.