Перейти к содержанию

Anthropic

Модели Anthropic растут вдвое быстрее, по оценке METR

6 мин чтения

Наш ИИ-аналитик сам проверил эту историю: запускал, считал, сверял с оригиналами. Что мы проверили

Текст написан ИИ-моделью по источникам, на которые ведут ссылки, и сверен с ними второй моделью. Как мы работаем

Изображение: zglg.work

METR 5 ноября опубликовала оценку, которую провела внутри Anthropic. По её выводам, с октября 2025 года результаты моделей компании на бенчмарках растут в 1,9 раза быстрее, чем раньше, и большая часть разгона связана с тем, что Anthropic использует ИИ в собственных исследованиях. Цифру 1,9 посчитали по внутреннему индексу AECI с учётом ещё не выпущенных моделей, причём большую часть самых весомых доказательств Anthropic из публичной версии вычеркнула. На открытом индексе Epoch AI тот же метод для выпущенных моделей в нашем пересчёте дал 1,44 раза.

В годах это выглядит так: за последний год Anthropic продвинулась на бенчмарках примерно так же, как с октября 2023 по октябрь 2025 года, от Claude 2.1 до Sonnet 4.5. Доверительный интервал (95%) у оценки 1,9 раза составляет 1,5-2,8. Общий вывод METR сформулирован шире и мягче: на чётко поставленных задачах Anthropic сейчас, вероятно, улучшает модели примерно вдвое быстрее, чем с марта 2024 по октябрь 2025 года, и авторов не удивило бы, окажись реальный разгон ближе к 1,3 или к 3 разам. Как это переносится на менее формализованные задачи, неясно ещё сильнее. Проверка шла с 12 августа по 29 октября: вместо запланированных четырёх недель она заняла одиннадцать, а итоговый публичный отчёт METR сдала 3 ноября.

Откуда разгон

AECI - версия Epoch Capabilities Index от Anthropic, он сводит результаты многих бенчмарков в одну шкалу. Ускорение METR считает как отношение скоростей роста: если индекс прибавлял 15 пунктов в год, а стал прибавлять 30, ускорение равно 2. Точку перелома вручную не выбирали, её оценили по данным: 7 октября 2025 года. Модели датированы моментом, когда ими могло пользоваться большинство сотрудников Anthropic, а не публичным релизом. По словам METR, такая датировка обычно даёт чуть больший разгон, потому что свежие модели компания держит у себя дольше. Доверительный интервал учитывает только погрешность оценок самих моделей, но не то, какие модели попали в выборку.

В одном METR уверена: ускорение не вызвано ускорением роста вычислений на обучение. Дальше консенсуса не нашлось даже среди сотрудников Anthropic. Разгон конца 2025 года, по оценке METR, вероятно, во многом объясняется факторами помимо ИИ, а на долю ИИ в нынешнем, октябрьском разгоне приходится большая часть, «возможно, около 80%». Эту цифру METR прямо называет догадкой. В опросах в Slack сотрудники в октябре 2026 года оценивали своё ускорение уже в 12 раз, но METR считает такие ответы «лишь очень нестрогим свидетельством». Работу, по словам опрошенных, ускоряет в основном помощь ИИ, а не полностью автономные вклады, хотя есть признаки, что доля автономной работы скоро вырастет.

Узких мест в алгоритмах, вычислениях на обучение и эксперименты или в данных, которые остановили бы прогресс в ближайшие 12 месяцев, METR не увидела. Отсюда её вывод о значительном риске, что дальнейший рост возможностей ещё сильнее ускорит разработку в следующем году. Но картина узких мест за время проверки менялась несколько раз, и в этой части METR в своей оценке не уверена.

Что вычеркнула Anthropic

По договорённости Anthropic могла убрать из публикации любую непубличную информацию, и большую часть доказательств, которые METR сочла самыми информативными, компания вычеркнула. В Anthropic объяснили это стремлением убрать конфиденциальные сведения, «которые могли бы ускорить других разработчиков ИИ». METR признаёт, что «прозрачности в отношении доказательств» отчёт не даёт и публике приходится полагаться на её суждение гораздо сильнее, чем было бы идеально. Вычеркнутые данные, по её словам, заставили отнестись к двукратному разгону серьёзнее и намекали, что он может быть выше 2 и расти, хотя заметно более высокая цифра METR бы удивила.

Если добавить в расчёт модели других лабораторий, ускорение по AECI в собственной проверке METR падает с 1,9 до 1,4 раза. Объяснений METR даёт два. Модели Anthropic в 2025 году отставали от лучших, прежний прогресс компании занижен, и тогда точнее 1,4. Либо модели Anthropic меньше подогнаны под бенчмарки, и тогда ближе к истине 1,9. Разброс 1,1-2,9 раза в проверках устойчивости целиком дают варианты функции связи, которая переводит баллы бенчмарков в оценку способностей модели: от 1,1 раза у дополнительного двойного логарифма до 2,9 у логарифмической. Смена набора бенчмарков, снимков моделей или регуляризатора держит ответ в пределах 1,9-2,2 раза, а качество подгонки у всех функций связи почти одинаковое: R² вне выборки от 86,1 до 87,2%.

Собственные оценки Anthropic за шесть недель выросли. В карточке Opus 5.5 от 22 сентября модель с переломом тренда давала 1,53 раза (интервал 1,20-1,82), но модель разового скачка лучше описывала данные в 99 из 100 повторных подгонок, а вывод звучал так: «при любом прочтении наклон не удвоился». В карточке Haiku 5.5 от 7 октября мы нашли 1,70 раза только в подписи к графику, рядом с альтернативной подгонкой с разовым скачком на Claude Mythos Preview. METR теперь считает, что новые внутренние модели делают постоянный перелом правдоподобнее разового скачка. Каждая карточка заново калибрует шкалу AECI, так что 1,53, 1,70 и 1,9 на одной шкале не лежат.

Авторский разбор

Что мы проверили

6 ноября мы скачали публичный индекс ECI от Epoch AI и посчитали ускорение для выпущенных моделей Anthropic так же, как METR: отношение наклонов линейного тренда после 7 октября 2025 года и с 1 марта 2024 года до этой даты, по публичным датам релизов. Тот же расчёт мы повторили для максимума по всем лабораториям и нескольких вариантов выборки.

Как мы проверяем истории

Ускорение у Anthropic на открытых данных тоже есть, но меньше, чем у METR: 1,44 раза против 1,9, близко к 1,4 из её же проверки с моделями других лабораторий. Лучшие модели всех лабораторий вместе не ускорились вовсе. Индекс и набор моделей у нас другие, поэтому наш расчёт цифру METR не опровергает, а показывает, сколько от неё видно снаружи.

Выборка (Epoch ECI, выпущенные модели)Ускорение95% интервал (бутстрэп)
Лучшие модели Anthropic на каждый момент1,441,13-1,85
То же, база с 1 января 2024 года1,281,06-1,54
Все 22 выпущенные модели Anthropic1,100,95-1,29
Лучшие модели всех лабораторий0,990,82-1,18
  • Публичные даты релизов, по словам самой METR, дают меньший разгон, чем внутренние, так что часть разрыва между 1,44 и 1,9 объясняется датировкой; сколько именно, мы не считали. Каждая строка таблицы - одна спецификация, вариант с максимальным или минимальным ответом мы не подбирали.
  • Наклон у Anthropic вырос с 13,8 до 19,8 пункта ECI в год, а у лучших моделей всех лабораторий был 17,6 и стал 17,3. По нашей оценке, на публичных данных это похоже на то, что Anthropic догоняла общий уровень, который рос с прежней скоростью: так звучит и первое из двух объяснений METR для её 1,4 раза.

AI-индустрияGoogle

Gemini Omni 1.2 Flash подешевела на 30% и снимает 15 секунд

Gemini Omni получила ролики по 15 секунд вместо 10 и цену на 30% ниже: версия 1.2 Flash стоит 0,07 доллара за секунду 720p-видео. При этом Google сама пишет, что быстрый спорт и сложная физика у модели ещё в доработке. Какой длины ролики вам обычно нужны: до 10 секунд или длиннее?

Пока никто не написал. Будьте первым.

Присоединяйтесь к разговору

Войдите, чтобы оставить комментарий. Он появится после модерации.