Jev дешевле Claude Fable в 274 раза, но точность 98%

17 сентября автор открытого бенчмарка прогнал одни и те же проверки Python-кода через три модели: Jev от TypeSafe AI, Gemini Flash и Claude Fable. Jev обошёлся в 45 раз дешевле Flash и в 274 раза дешевле Fable, и медианное время ответа у него оказалось ниже, чем у обеих. Зато по корректности он набрал 98%, а Flash и Fable по 100%.

Код, данные и отчёт лежат в репозитории на GitHub. Jev вышел в ограниченный ранний доступ 15 сентября, за два дня до прогона. Одновременно TypeSafe объявила посевной раунд на 40 миллионов долларов под руководством DCVC. Компания называет Jev System One Model. Текст модель не пишет: она выбирает ответ из вариантов, которые разработчик задаёт заранее, и к каждому ответу прикладывает вероятности и оценку уверенности.

Как устроен тест

Каждое ревью выглядело так: модель получает небольшой фрагмент кода на Python и четыре правила и по каждому отвечает, соблюдается оно или нет. В наборе 24 семейства программ, у каждого пять версий кода, и всё прогонялось в три раунда. Получилось 1 080 основных вызовов, по 360 на модель. Семейство - это одна программа и её варианты, так что пять версий нельзя считать пятью независимыми примерами. Правильные ответы задавали скрытые проверки поведения и проверки исходного кода.

Итоговый балл усредняет две доли: насколько верно модель отклоняет нарушения и насколько верно одобряет корректный код. Все семейства весят одинаково. В сравнении участвовали jev-1.13.0, google/gemini-3.8-flash и anthropic/claude-fable-5.1, обе модели-соперницы работали со средним уровнем рассуждений. Для Gemini пробовали более дешёвую настройку, но API её отклонил, и автор оговаривает, что преимущества Jev над любой доступной моделью или настройкой исследование не доказывает.

Цифры целиком

Фактический счёт за 360 ревью: 0,01545 доллара у Jev, 0,69965 у Gemini Flash и 4,24097 у Claude Fable. В пересчёте на тысячу ревью выходит 0,043, 1,943 и 11,78 доллара. Это линейная экстраполяция того же объёма работы: не фактический счёт, не отдельный тест на объёме и не гарантия цены. Одно ревью на Jev стоит меньше пяти тысячных цента.

Тариф у TypeSafe такой: 0,042 доллара за миллион входных токенов, выходные бесплатно. Обычные LLM компания оценивает в диапазоне от 0,20 до 10 долларов за миллион входных токенов, причём выходные у них, по её подсчёту, примерно впятеро дороже.

Медианное время ответа: 0,75 секунды у Jev, 3,59 у Flash и 4,31 у Fable. В посте о запуске TypeSafe называет для Jev от 70 до 500 мс на запрос целиком. Скорость там объясняют параллельной выборкой: по словам компании, все варианты ответа модель выдаёт за один запрос, без последовательной генерации токен за токеном.

Точность и уверенность

Балл корректности у Jev 98% (95-процентный интервал 94,7-100%), балл по правилам качества кода 99,5% (интервал 98,8-100%). У Flash и Fable по 100% на обеих метриках. За три раунда у Jev изменилось 0,83% решений, у соперниц ни одного. Интервалы описывают разброс внутри этого искусственно собранного набора, и автор подчёркивает, что исследование не доказывает ни равной, ни лучшей точности Jev, ни детерминированности его решений.

Гендиректор TypeSafe Диогу Алмейда в посте о запуске рассуждает так: модель, которая справляется с задачей в 95% случаев, но не сообщает, когда попала в оставшиеся 5%, автоматизировать задачу не может. Поэтому Jev выдаёт калиброванные вероятности и оценку уверенности к каждому ответу. По словам автора бенчмарка, одни значения уверенности Jev не гарантируют, что по ним удастся отобрать именно ошибочные случаи.

Что если добавить большую модель?

В отчёте посчитана и гибридная схема: Jev проверяет всё, а отобранная часть случаев дополнительно уходит в Gemini. Саму схему не тестировали, поэтому расчёт показывает только возможную цену, о точности он ничего не говорит. Если в Gemini уходит доля p, ревью стоит 0,0000429044 доллара плюс p, умноженная на 0,001943475 доллара.

• 1% случаев в Gemini: 0,062 доллара за тысячу ревью, в 31,2 раза дешевле одного Gemini;
• 5%: 0,140 доллара, в 13,9 раза дешевле;
• 10%: 0,237 доллара, в 8,2 раза дешевле;
• 100%: 1,986 доллара, 0,98 от стоимости одного Gemini.

В расчёте взяты наблюдавшиеся средние цены запросов, и предполагается, что переданные случаи стоят в среднем столько же. Маршрутизация, хранение и прочие расходы системы не учтены, а сложные случаи могут обходиться дороже. Разрыв в 2 балла, предупреждает автор, не значит, будто маршрутизатор сумеет найти и передать именно эти 2% случаев: правило маршрутизации нужно проверять на новых примерах, чтобы увидеть, какие ошибки оно ловит и какие пропускает.

Границы и повтор

Примеры маленькие, искусственно собранные и снабжены явными правилами. Обе модели-соперницы набрали на них максимальный балл. Боевое ревью пулл-реквестов, читаемость для человека, поиск багов без заданных правил и другие типы задач бенчмарк не измеряет, а более низкая цена Jev на других задачах остаётся гипотезой.

Весь опубликованный прогон дал 1 620 валидных ревью и 30 неудачных вспомогательных. Известные расходы составили 7,98 доллара, ещё по 38 неудачным попыткам сумма списаний неизвестна, и с запасом на них бюджетный учёт показывает 8,37 доллара. В основном сравнении трёх моделей неизвестных списаний нет.

Для повтора нужны Python 3.12 и uv, код открыт под лицензией MIT. Проверки без API-ключей запускаются командами uv sync --locked, uv run determinest check и uv run pytest. Для новых прогонов ключи кладутся в .env по образцу .env.example, дальше uv run determinest discover и профили smoke с лимитом 2 доллара и study с лимитом 25 долларов. Прогон, который упёрся в бюджет, раннер сохраняет как незавершённый, вместе со всеми попытками, расходами и сбоями.