Opus 5.5 обошёл GPT-6 Astra в тесте на стабильность

Claude Opus 5.5 возглавил новый рейтинг EDA Benchmark, который deepsense.ai опубликовала в своём блоге 2 ноября. У Opus 5.5 0,62 балла с поправкой на стабильность и 0,65 по среднему, у GPT-6 Astra 0,55 и 0,63. Тем, кто выбирает модель для агента, который разбирает данные, на отрыв Opus 5.5 от Astra можно опираться: в нашем пересчёте он сохраняется в 98,5% случайных перевыборок прогонов. Но почти весь отрыв набран на одной задаче, а порядок мест ниже первой пары зависит от того, как код считает провальные задачи.

EDA Benchmark проверяет разведочный анализ данных: модель открывает файлы, чистит несогласованные записи, сводит источники, ищет аномалии и возвращает структурированный ответ. Задач десять, все синтетические, и каждую модель решает пять раз. Средний балл показывает качество ответа, а балл с поправкой штрафует разброс между прогонами. В README проекта задачи названы намеренно ограниченными по сложности, числу и охвату. Модели июльского раунда заново не запускали, их цифры оставили для сравнения.

Откуда отрыв Opus 5.5

Средние у лидеров почти равны, а после поправки разница вырастает до 0,07. В deepsense.ai объясняют это большей нестабильностью Astra. Мы разложили баллы по задачам: разрыв почти целиком дала store-audit. Там у Astra три прогона на 1,00 и три на 0,063, поэтому балл задачи с поправкой упал до 0,06. Opus 5.5 решил её на 1,00 пять раз из пяти. Остаток пришёлся на solar-farm-daily-yield, где средний балл у Astra 0,263, а у Opus 5.5 0,585. На hospital всё наоборот: у Astra пять прогонов по 1,00, у Opus 5.5 пять по 0,50.

У Opus 5.5 пять задач из десяти решены идеально во всех прогонах, но на identify-unusual-values он набрал 0,024. Claude-fable-5 в июльском раунде получал там 0,958 во всех пяти прогонах.

Opus 5.5 гоняли через Claude Code с reasoning_effort: xhigh 20-21 октября, Astra через Codex тоже на xhigh. Так записано в файлах репозитория, сами мы этот параметр не замеряли. В Intelligence Index v5 Opus 5.5 в октябре тоже был впереди, 58 против 57, но там обе модели работали в режиме max.

Середина таблицы

Gpt-6.1-sol набрала 0,46 при среднем 0,59, gpt-6-sol 0,43 при 0,53. Gpt-5.6-sol из прошлого раунда сохранила 0,46 и делит с gpt-6.1-sol третье-четвёртое место. Claude-fable-5 с 0,42 стоит вровень с gemini-3.8-flash, хотя средний у gemini выше: 0,52 против 0,50. Главный пример у deepsense.ai: gpt-6-sol по среднему лучше gpt-5.6-sol, 0,53 против 0,48, но после поправки отстаёт, 0,43 против 0,46. Поэтому в продакшене авторы называют более надёжным выбором gpt-5.6-sol.

И этот пример, и ничья gemini с fable держатся на одном правиле в коде. Если модель получила ноль во всех пяти прогонах задачи, разброс не считается, и задача выпадает из балла с поправкой, хотя в средний входит нулём. Таких случаев девять, у gpt-5.6-sol и gemini-3.8-flash по одному, оба на hospital. Если считать их нулём, gpt-5.6-sol опускается до 0,410, ниже gpt-6-sol с её 0,434, а gemini-3.8-flash до 0,381, ниже claude-fable-5 с 0,423. У Opus 5.5, Astra, gpt-6.1-sol и gpt-6-sol таких задач нет, их цифры правило не меняет.