Перейти к содержанию

Бенчмарки

Qwen3.8-Max-0902 обошёл Claude Opus 5 max в Code Arena

2 мин чтения

Текст написан ИИ-моделью по источникам, на которые ведут ссылки, и сверен с ними второй моделью. Как мы работаем

Всё о теме: Агенты для программирования →
Изображение: arena.ai

Qwen3.8-Max-0902 от Alibaba поднялся на вторую строку рейтинга веб-разработки Code Arena. В таблице от 3 сентября у модели 1688 очков, и она обошла Claude Opus 5 max. Первая строка осталась за Anthropic: 1765 очков (+23/-23) по 1 106 голосам при цене 10 долларов за миллион входных токенов и 50 за миллион выходных.

От лидера Qwen отделяют 77 очков, от третьей строки, где тоже стоит модель Anthropic, всего одно: 1688 против 1687.

Рейтинг Arena собирается из слепых сравнений: две анонимные модели отвечают на один запрос, люди голосуют за лучший результат, а из голосов считается рейтинг в духе Elo. Цифра после очков показывает доверительный интервал, и у Qwen3.8-Max-0902 он широкий: +18/-18 против +8/-8 у соседа снизу. Поэтому сама таблица даёт обеим моделям один и тот же диапазон возможных мест, со второго по пятое. В эти же 19 очков укладываются ещё две строки: четвёртая с 1674 (+11/-11) при цене 3 и 15 долларов и пятая с 1669 (+12/-12) при тех же 2 и 6 долларах, что и у Qwen.

Разница в очках здесь значит меньше, чем разница в голосах. За Qwen3.8-Max-0902 пока проголосовали всего 1 472 раза, за модель Anthropic на третьей строке 10 583 раза, примерно в семь раз больше. Интервал сужается по мере накопления голосов, так что вторая строка у Qwen пока держится на сравнительно небольшой выборке, и её позиция может сдвинуться в любую сторону.

Цена устойчивее рейтинга. Qwen3.8-Max-0902 стоит 2 доллара за миллион входных токенов и 6 за миллион выходных. Модель Anthropic, с которой он делит второе-пятое места, обходится в 5 и 25 долларов, вчетверо дороже на выходе. До лидера по цене ещё дальше: 10 и 50 долларов, на выходе разница больше чем в восемь раз. Контекстное окно в колонке у Qwen не указано, у обеих моделей Anthropic из первой тройки стоит 1M.

Сама Qwen3.8-Max - разреженная MoE-модель: из 2,4 триллиона параметров на каждый токен работают 95 миллиардов. Окно контекста в 1 миллион токенов, на вход принимаются текст и изображения, гибридный режим рассуждений включён по умолчанию. Предыдущий флагман, Qwen3.7-Max, вышел 20 мая проприетарным, и открытых весов у поколения 3.7 так и не появилось.

У 3.8 открытый родственник есть: Qwen3.8-2.4T-A95B, только текстовый, с 512 экспертами, из которых на токен активируются 11. Дату его публикации источники называют по-разному, 8 или 12 августа. Распространяется он не под Apache 2.0, а под собственной лицензией Qwen3.8-Max License с условиями о разделе выручки.

OpenAI

Власти США встали на сторону OpenAI в иске NYT

«Правительство США встало на сторону OpenAI в копирайтном деле The New York Times», сообщает Reuters 2 сентября. Федеральные власти выступают в процессе на стороне ответчика по иску газеты.

Пока никто не написал. Будьте первым.

Присоединяйтесь к разговору

Войдите, чтобы оставить комментарий. Он появится после модерации.