Перейти к содержанию

Бенчмарки

100% на 28 задачах и 0,28 доллара за круг

5 мин чтения

Текст написан ИИ-моделью по источникам, на которые ведут ссылки, и сверен с ними второй моделью. Как мы работаем

Изображение: reinvently.co.uk

Эд Яу, архитектор прикладного ИИ в Kerv, 23 августа добавил в свой рейтинг Ed-o-meter четыре модели: glm-5.3, grok-4.6, deepseek-v4-pro и gemini-3.7-flash. Открытая glm-5.3 сразу стала главной рекомендацией доски. Она первой прошла все 28 задач, получила 9,3 балла по рубрике качества и потратила на весь круг 0,28 доллара. У gpt-5.5 тот же круг стоит 1,43 доллара, так что glm-5.3 обходится примерно в пятую часть.

Рейтинг на странице Reinvently устроен как заезд на время, или, словами самого Яу, «тот же пилот, та же трасса». Все 17 моделей получают одни и те же промпты дословно и идут через один стриминговый путь OpenRouter. Запросы отправляются последовательно, поэтому замер задержки ничем не искажён. Прохождение задачи проверяют бинарные автоматические чекеры, а судья-LLM выставляет только рубрику из 10 баллов. Маршрутизация закреплена флагом allow_fallbacks:false, так что запрос не уйдёт тихо на квантованную копию модели. Настройки effort и reasoning записаны в models.json: от них заметно зависят и качество, и цена. Прогон всего набора задач стоит 30 долларов.

Задачи короткие и одиночные, автор сравнивает их с юнит-тестами для агента. В наборе семь задач на Python по программированию, от дедупликации CSV до rate limiter, который проверяют на подставных часах, причём четыре из семи посвящены отладке. К ним добавлены четыре задачи по работе с данными, девять бытовых, шесть по безопасности и две на вызов инструментов. Бытовые задачи - это, например, первичная оценка, что делать с необычно плачущим восьминедельным младенцем, или поиск авиабилетов, где модель должна честно признать, что живых цен у неё нет. В блоке безопасности есть инъекция в письмо с требованием оформить возврат денег и четыре шаблона джейлбрейка. Программирование, данные и инструменты Яу считает базовым уровнем обвязки: гонку, по его словам, решают бытовые задачи и безопасность.

Какую модель брать

Совет автора уместился в одну строку: если запускаете одну модель, берите glm-5.3, только «сначала уточните у комплаенса». Платить за неё приходится ожиданием: медиана до первого токена у glm-5.3 составляет 16,3 секунды. Если нужно быстрее, Яу советует gpt-5.5: она отвечает за 13,2 секунды и так же проходит безопасность на 100%, но в бытовых задачах набирает 89%. Для качества без ожидания он рекомендует sonnet-4-6.

Для дешёвой фоновой работы на доске есть gpt-5.6-luna: 0,064 доллара за круг, или 0,0023 доллара за задачу, и 5,3 секунды до первого токена. Её цены обновили 5 августа, когда OpenAI снизила тарифы и всю тройку GPT-5.6 перепрогнали. Однако у luna 79% в целом и всего 33% по безопасности, поэтому автор советует проверять каждый результат и не подпускать её к недоверенным промптам. Если ответ нужен правильным с первого раза, есть haiku-4-5: 0,0044 доллара за задачу, 96% и 0,9 секунды. У deepseek-v4-pro при тех же 96% задача формально дешевле, 0,0029 доллара, но медиана до первого токена в 40,0 секунды, самая долгая на доске, оставляет ей только пакетные задания.

Тройка gpt-5.6-luna, gpt-5.6-terra и gpt-5.6-sol выдала контрольную строку джейлбрейка в 11 из 12 соответствующих ячеек и прошла безопасность на 33-50%. Яу советует ставить защиту в самой обвязке и тщательнее проводить ред-тиминг. Три модели Claude и gpt-5.5 прошли все шесть задач по безопасности чисто.

Отказы и фильтр Anthropic

Fable-5 делит последнее место с 79%, потому что отказалась от пяти задач, хотя то, что она всё-таки сделала, сделано хорошо. Opus-5 получила лучшую рубрику на основной панели, 9,4, и по 100% в бытовых задачах и безопасности, а в программировании у неё 43%. Отладка тут ни при чём: четыре безобидные задачи coding-debug-* заблокировал классификатор на стороне провайдера ещё до первого токена, и эти задачи частично совпадают с теми, на которых споткнулась fable-5.

По мнению Яу, судя по всему, классификатор Anthropic стоит на всей линейке серии 5, а не только на Fable, и такие блокировки он предлагает считать помехой измерения, а не особенностью модели. Похожая история с Opus 5 случалась и раньше: в августе на Terminal-Bench 2.1 он в роли исполнителя отказался от трёх задач по безопасности во всех 14 попытках. Вдобавок opus-5 дважды штрафовали за то, что она отметила атаку, которую сама успешно отбила.

Отказы портят и колонку цены. Заблокированные попытки почти ничего не генерируют и стоят 0 долларов, поэтому для fable-5 и opus-5 цену задачи считают только по попыткам с ответом. С учётом всех попыток fable-5 выглядела бы на 0,0481 доллара за попытку, а opus-5 на 0,0597, и обе казались бы искусственно краткими и дешёвыми. Полная стоимость прогона opus-5 составляет 1,67 доллара. У остальных моделей на доске отказов нет.

Кто судит рубрику

Судьёй рубрики работает fable-5, и свои ответы она оценивает на 9,3, а чужие на 8,6-8,7. Её собственная цифра к тому же взята из прогона 5 июля, где оценено только 11 из 28 попыток, и до независимой переоценки показана лишь для полноты. Лидер по рубрике, kimi-k3 с 9,5, тоже оценена fable-5, хотя и независимо. У неё 96% прохождения, 26,4 секунды до первого токена и 75% по данным.

Одна задача засчитана с оговоркой. На вегетарианском рецепте чекер запрещённых слов срабатывает на упоминания вне ингредиентов: совет проверить этикетку или перечень того, чего в блюде нет, вроде «без рыбного соуса и гарниров животного происхождения». Все три рецепта действительно без мяса, поэтому gpt-5.5, sonnet-5 и fable-5 эту задачу засчитали, а сами задачи и чекеры не правили.

Позже квартальный отчёт Ed-o-meter показал, что за третий квартал доска выросла с 13 до 25 моделей. 29 августа glm-5.3-flash взяла порог в 95% задач с качеством от 9,0 за 0,0004 доллара за задачу. К концу квартала все 28 задач проходили три модели: deepseek-v4.1-flash, glm-5.3 и opus-5-5, по цене от 0,0033 до 0,0482 доллара за задачу. Три самые дорогие в пересчёте на задачу, fable-5-1, fable-5 и opus-5, провалили хотя бы одну.

На странице рейтинга выложены ответы каждой модели на каждую задачу, и любые две модели можно сравнить напрямую. Обвязка, задачи и чекеры открыты под MIT в проекте Featherbench: круг можно склонировать и прогнать на своих моделях, а попросить добавить модель на доску можно через issue на GitHub.

Пока никто не написал. Будьте первым.

Присоединяйтесь к разговору

Войдите, чтобы оставить комментарий. Он появится после модерации.