Модели Anthropic растут вдвое быстрее, по оценке METR

Модели Anthropic на чётко поставленных задачах сейчас улучшаются примерно вдвое быстрее, чем с марта 2024 по октябрь 2025 года. Так говорится в отчёте METR от 5 ноября по итогам проверки внутри компании. Измерен в этой оценке рост бенчмарков: индекс AECI с октября 2025 года растёт в 1,9 раза быстрее прежнего. Долю ИИ в этом разгоне METR оценивает лишь приблизительно, «возможно, около 80%», а большую часть доказательств, которые сама METR считает самыми весомыми, Anthropic из публичной версии вычеркнула.

У Reuters оба вывода попали в один заголовок: модели Anthropic улучшаются почти вдвое быстрее с помощью ИИ. Ускорение посчитано по индексу. Причину METR определяла без решающих доказательств, и единого мнения о ней не было даже у сотрудников Anthropic.

Два года за один

Ускорение METR определяет как отношение темпов роста: двукратное значит, что за год сделано столько же, сколько раньше делалось за два. AECI - версия Epoch Capabilities Index от Anthropic, индекс сводит результаты набора бенчмарков к одной шкале. С октября 2025 года он растёт в 1,9 раза быстрее, чем до того, при 95-процентном доверительном интервале 1,5-2,8 раза. За последний год Anthropic продвинулась по нему примерно так же, как с октября 2023 по октябрь 2025 года, когда компания прошла путь от Claude 2.1 до Sonnet 4.5.

В системной карточке Haiku 5.5 ускорение оценивалось в 1,7 раза. У METR цифра выше, в основном потому, что в расчёт вошли данные по новым, ещё не выпущенным моделям.

Проверки устойчивости с другим набором бенчмарков, другой датировкой и составом моделей и с поправкой на насыщение бенчмарков дают от 1,1 до 2,9 раза. Отсутствие ускорения или разгон выше трёх раз METR сочла бы неожиданным. Итоговое «около двух» команда даёт с высокой неопределённостью и внутренними разногласиями: реальный темп может оказаться ближе к 1,3 или 3 разам от прежнего. Цифра 1,9 может объясняться и подгонкой моделей под набор бенчмарков или особенностями методики AECI. При этом точек данных мало, и они запаздывают относительно того, что происходит в исследованиях. Как такое ускорение переносится на более широкие и хуже сформулированные задачи, тоже неясно.

Ошибиться METR может в обе стороны. Темп окажется занижен, если команда недооценила признаки недавнего дополнительного роста, дальнейшую автоматизацию исследований и случаи, когда AECI отставал от реального эффекта. Завышен - если недооценены факторы без участия ИИ, уклон AECI в задачи с проверяемым ответом и причины, по которым темп Anthropic в 2023-2025 годах был необычно низким.

Откуда разгон

Одну причину METR исключает уверенно: вычисления на обучение быстрее наращивать не стали, и ускорение не от них. Дальше уверенности меньше. Разгон конца 2025 года, по оценке METR, вероятно, во многом связан с факторами без участия ИИ, но детали многих из них вычеркнуты. Для октября 2026 года METR предполагает, что большая часть ускорения, возможно около 80%, приходится на ИИ, и считает, что его вклад со временем растёт. Другие факторы, которые проверяла команда, включая найм, улучшение данных и алгоритмические находки, устойчивый разгон, по её мнению, не объясняют.

Интервью и опросы с этим согласуются. Сотрудники Anthropic сами говорят о резком ускорении своей работы с ИИ, хотя такие самооценки METR считает трудными для интерпретации. METR сообщили, что разработку ускоряет в основном помощь ИИ людям, а не полностью автономная работа моделей. Сама METR видит признаки того, что автономный вклад скоро станет заметнее.

Узких мест не видно

Ключевое опасение METR в том, что ускорение начнёт накапливаться: более сильные модели будут быстрее создавать следующие. Ограничений, которые помешали бы этому в ближайшие 12 месяцев, METR не нашла ни в алгоритмическом прогрессе, ни в вычислениях на обучение и эксперименты, ни в данных. Резкого падения отдачи от дальнейшего масштабирования она тоже не увидела. Отсюда вывод о значительном риске, что в следующем году разгон пойдёт ещё быстрее. Однако по мере поступления подробных данных картина узких мест несколько раз менялась, в нынешней оценке METR не уверена и допускает, что важные ограничения могла упустить.

Что вычеркнула Anthropic

Проверка шла с 12 августа по 29 октября. Доступ Anthropic дала, по словам METR, беспрецедентный: метрики предобучения и обучения с подкреплением, вычисления на обучение по каждому направлению, результаты внутренних моделей на бенчмарках, собственные оценки ускорения от ИИ, прогнозы метрик будущей модели и интервью с сотрудниками.

По условиям проверки Anthropic могла вычеркнуть из публикации любую непубличную информацию и сделала это с большей частью самых информативных для METR доказательств. В компании объяснили, что правки нужны, чтобы убрать «конфиденциальную информацию, которая могла бы ускорить других разработчиков ИИ». METR признаёт, что прозрачности в доказательствах отчёт не даёт и публике приходится полагаться на суждение METR гораздо сильнее, чем было бы идеально при таком весе вопросов.

Именно вычеркнутые данные заставили METR серьёзнее отнестись к двукратному ускорению. Они же дали некоторые указания на то, что разгон может быть выше двух раз и со временем расти, хотя сильно большую цифру METR сочла бы неожиданной. Подробные оценки того, насколько ИИ ускорил прогресс по AECI и на отдельных этапах обучения моделей, из публичной версии тоже убраны.