Теги
58 записей
anthropic
Час автоматического исследователя Anthropic стоит примерно 4 доллара на API-инференс против 150 долларов за час человека, и на всех десяти бенчмарках нежелательного поведения он улучшил результат.
anthropic
Разработчик залез в открытый код обвязки, которая вытянула Claude Opus 5 с 30% до 99,95% на ARC-AGI-3, и приписывает сборку Strands. NVIDIA же отчиталась о 100% на том же бенчмарке со своим агентом AVO.
benchmarks
«Потомки сочтут нелепым, что люди до сих пор строят модели именно так», говорит сооснователь Simular Цзячэнь Ян. Его агент Sai, по заявлению компании, берёт 73% задач OSWorld 2.0 против 70,57% у Opus 5 и примерно за две трети цены.
open-models
Qwen3.8 Flash стоит 0,16 доллара за миллион входных токенов и набирает 62,5 на SWE-bench Pro. Внутри MoE на 125 миллиардов параметров, предшественник той архитектуры, на которой Alibaba построит Qwen4.
benchmarks
Одна обвязка, 28 реальных задач, 17 моделей подряд: открытая glm-5.3 закрыла все пять категорий на 100% и стоила 0,28 доллара за круг, около пятой части от цены gpt-5.5. Ценой 16,3 секунды до первого токена.
research
«Перекладывание домашней работы на ИИ»: так авторы рабочей статьи CEPR называют схему, при которой оценки китайских школьников за домашние задания выросли на 18%, а баллы закрытых контрольных упали на 20%.
benchmarks
Агент NVIDIA AVO прошёл все 183 уровня в 25 средах ARC-AGI-3 и набрал 100,00 балла RHAE, потратив на 12% меньше действий в среде, чем VISTA. Базовый результат Claude Opus 5 на этом бенчмарке около 30%.
anthropic
За 23 и 19 минут Claude Opus 5 обработал сырые файлы NMR и LC-MS подрядной лаборатории и получил чистоту 96,4% против 96,33% у неё. Свой готовый отчёт лаборатория прислала через четыре дня.
anthropic
Роботы Adaptyv Bio под Лозанной синтезировали 1 320 белков, спроектированных Claude, не зная, какая версия их сделала. С мишенью связались 354 дизайна, а мишень MBP не дала ни одного связывателя.
openai
В бенчмарке Roboflow детекция объектов у GPT-5.6 Sol выросла до 46,2 mAP@50 против 13,8 у GPT-5.5. Лидирует в детекции и счёте всё равно Gemini 3.5 Flash, при 0,8 цента за изображение против 2,5 у Sol.
open-models
На агентном бенчмарке программирования DeepSWE модель Qwen3.8-27B набрала 42,2 балла против 14,2 у Qwen 3.7-Plus, по данным Alibaba. При этом средняя по уровню Gemini 3.6 Flash от Google взяла там только 49%.
openai
«Сначала мы даже подумали, что ошиблись», пишет MotherDuck: на максимальном усилии Luna возглавила её агентный SQL-бенчмарк после снижения цены на 80%, причём точность осталась 99,8% при цене в 5 раз ниже.
open-models
«Доступ к API и открытые веса будут выпускаться поэтапно, после строгих проверок безопасности», сказано в анонсе GLM-5.3. По данным поста в Threads, эта модель Zhipu AI набрала 84,5 балла на CyberGym.
openai
90,2 токена в секунду в Codex CLI против 54,7 в десктопе с тем же API-ключом: по замерам разработчика на собственном бенчмарке, десктопное приложение вырезает из запроса параметр service_tier=fast.
research
Границу цены и точности на ARC-AGI-1 сдвинула модель на 150 млн параметров: 29,5% pass@2 при расчётной стоимости $0,0007 за задачу. Промежуточные шаги она держит в скрытом пространстве, без проговаривания текстом.
openai
На ARC-AGI-3 модель GPT-5.6 Sol набрала 13,3% со стандартной обвязкой и 38,3% после включения сохранённых рассуждений и сжатия контекста, пишет OpenAI. Выходных токенов при этом ушло примерно в 6 раз меньше.
xai
Тринадцатое место на Frontend Arena с 1553 баллами получила новая Grok 4.6. При этом xAI заявляет о паритете с GPT-5.6 Sol в индексе Artificial Analysis, а доступ уже открыт в Cursor и Grok Build.
model-releases
Вторую строку рейтинга Arena по генерации изображений, по заявлению Microsoft, заняла новая MAI-Image-2.6. В публичных данных Arena на 10 августа там держится grok-imagine-image-2.0, а mai-image-2.5 идёт девятой.
anthropic
Opus 5 решил все три задачи по безопасности, когда его просили напрямую, и отказался все 14 раз, когда та же задача приходила ему как делегированная подзадача от оркестратора в Claude Code.
anthropic
За 34 часа сессии с Fable 5 на исходный исследовательский вопрос ушло около 40 минут, пишет автор независимого теста. Остальное съели локально разумные отступления, которые предлагала сама модель.
