Теги
43 записи
anthropic
Час работы автоматического исследователя Anthropic стоит примерно 4 доллара на инференс против 150 долларов в час у живых исследователей, и лучший его метод в среднем за шесть часов обгоняет то, что предлагают опытные люди.
anthropic
30% на ARC-AGI-3 Claude Opus 5 набирает сам по себе. Автор разбора открытого кода пишет, что агентная обвязка на Strands доводит результат до 99,95%, тогда как для обвязки NVIDIA AVO зафиксированы 100%.
claude-code
Без навыков модель называет, что её правка делает невозможным, в 42% случаев; с набором Poka-Yoke для Claude Code показатель 81%. Плата видна в тех же прогонах: сырую SQL-инъекцию агент ловит в 69% против 92%.
claude-code
Одна и та же незапарсившаяся YAML-шапка в начале файла валит 88,4% сломанных артефактов Claude Code. Всего не грузится 9,70% из 445 348 листингов, и в пути публикации эту ошибку никто не ловит.
anthropic
От 22% до 35% белков, спроектированных Claude с нуля, связались с мишенью, при типичных для отрасли 10–15%. Проверяли Adaptyv Bio и Twist Bioscience, а Anthropic учит Claude вести разработку лекарства целиком.
anthropic
«Оценки растут почти линейно с конца 2024 года» без признаков замедления, пишут авторы индекса концептуальных рассуждений CRI от Redwood Research и Anthropic. Лучший результат у Opus 5, 73,6 балла при потолке около 91.
claude-code
Агенту с единственной инструкцией «стать лучше» хватило одного прогона, чтобы поднять успех на задачах с 34% до 44%. Все 84 правки Claude Code сделал в файлах памяти, но именно они на результат и не повлияли.
benchmarks
78% задач Terminal-Bench 2.1 и седьмое место стоили $1 178, примерно вдвое дороже первого места. Основную часть счёта собрал Opus 5 в роли исполнителя: 58% расходов, ведь именно он генерирует больше всего токенов.
anthropic
Из 34 часов работы над задачей модель Fable 5 отдала самому исследовательскому вопросу около 40 минут, пишет автор эксперимента. Сверку с целью за всю сессию она не инициировала ни разу.
benchmarks
Самый дешёвый режим Claude Opus 5 обошёл высокий на VulcanBench, решив 20 задач из 23 против 18. Высокий уровень усилий ошибался реже, зато упирался в таймаут, а таймаут засчитывается как ноль.
anthropic
По замерам NoLiMa, у 11 из 13 моделей с окном от 128k точность на 32k токенов упала ниже половины их же короткого базового результата. У GPT-4o разрыв составил 69,7% против 99,3%.
meta
На всех трёх графиках, которые Meta опубликовала к запуску своего кодового агента Muse Code, первым идёт Claude Opus 5. На внутреннем бенчмарке компании он набрал 79,4% против 70,6% у Muse Spark 1.2.
benchmarks
«Используйте Claude для ревью Codex, а не наоборот», заключают авторы эксперимента на 116 задачах. Черновики Codex поднялись с 71,6% до 89,7%, а обратный порядок уронил Claude с 91,4% до 82,8%.
anthropic
Базовое ядро проходит за 147 734 цикла, Claude Opus 4.5 довёл его до 1 487. Ускорение в 99 раз он получил в открытом тестовом задании Anthropic по инженерии производительности и обошёл большинство людей.
anthropic
Одна попытка промпт-инъекции против GPT 5.6 Sol срабатывает в 3,1% случаев, показывает бенчмарк IPI в блоге Брюса Шнайера. Пятнадцать попыток против Claude Opus 5 дают 2,0%, лучший результат среди проверенных моделей.
anthropic
Одиннадцать сорванных договорённостей с конкурентами принесли Claude Opus 5 рекорд Vending-Bench от Andon Labs: средний итоговый баланс $11 182. Покупателям модель не врала ни разу, зато игнорировала жалобы на возврат.
anthropic
Положить SKILL.md в папку скиллов мало: за 10 сессий Claude Code не вызвал ponytail ни разу. JetBrains снимал цифры в ветке с принудительным внедрением правил, там счёт за задачу упал на 10,3%.
anthropic
На OSWorld 2.0 новый Opus 5 обходит лучший результат Fable 5, стоя чуть больше трети его цены: $5 за миллион входных токенов и $25 за выходных. На ARC-AGI 3 счёт втрое выше, чем у ближайшей модели.
claude-code
rtk обещал срезать токены Claude Code на 60–90%, а в парном тесте JetBrains на 86 задачах SkillsBench вышел на 7,6% дороже при низком effort и ноль при высоком. Его собственная аналитика при этом насчитала 96,2 миллиона сэкономленных токенов.
anthropic
Fable 5 подскочил с 29% до 73% точности на бенчмарке Chartography из 100 вопросов по плотным графикам, стоило дать модели инструмент масштабирования. У Sonnet 5 рост с 13% до 44%: модель запрашивает вырезку участка из оригинала в полном разрешении.
