Jev обогнал OpenAI Decisions и Clef: 195 против 208 и 344 мс

На типичном запросе Jev от TypeSafe отвечает на 13 мс быстрее Decisions API от OpenAI, 195 против 208 мс. На медленных запросах (p95, время, в которое укладываются 95% ответов) расклад другой: 238 против 707 мс. Это результаты замера Latencyradar, опубликованного 20 октября. Всего было 990 запросов из шести городов, и в каждом засекали время до полного ответа «да или нет».

Третьим оказался Clef от Cloudflare: 344 мс на типичном запросе и 997 мс на p95. Окна измерений у участников разные. Jev гоняли 13 дней, начиная с 7 октября, а OpenAI и Clef подключили позже, и у них 10 ежедневных прогонов. Отсюда 390 запросов у Jev и по 300 у двух других.

Что обещали сами вендоры

В блоге TypeSafe задержка Jev от отправки запроса до ответа указана как 70-500 мс. Для фронтирных моделей компания приводит «от 3 до 329 секунд» и обещает выигрыш в 40-200 раз на запросах того типа, под который Jev сделан. С замером первая цифра сходится: типичное время по городам лежит между 99 мс в Сан-Франциско и 287 мс в Мумбаи, а p95 нигде не выше 342 мс. Но множители TypeSafe посчитаны против фронтирных моделей в обычном режиме. А против Decisions API, который OpenAI собрала под ту же задачу, на типичном запросе от них почти ничего не остаётся.

OpenAI в сентябре на DevDay называла 150 миллисекунд на выбор ответа против 1,6 секунды у обычной Luna. В замере такое время Decisions API показал только из Северной Америки: 120 мс в Сан-Франциско и 156 мс в Монреале. Из Мумбаи типичный ответ шёл 312 мс. Дневные медианы у OpenAI менялись от 142 до 265 мс. Из десяти общих дней OpenAI оказалась быстрее Jev в шести, хотя 18 октября разница составила 1 мс: 182 против 183. В последние два дня окна Decisions API отставал заметнее, 225 и 235 мс против 186 и 183 мс у Jev. При этом Decisions API работает в публичной бете, у его единственной модели gpt-6-luna нет датированной версии, и результаты могут меняться без предупреждения. Jev мерили на закреплённой версии jev-1.13.0.

Почему у OpenAI такой хвост

Самый наглядный город - Амстердам. Здесь типичный ответ OpenAI быстрее, чем у Jev (213 против 229 мс), но p95 у OpenAI 953 мс, а у Jev 274. В Мумбаи p95 у OpenAI доходит до 1235 мс, у Jev он 342 мс. По наблюдениям Latencyradar, медленным бывает первый запрос после паузы. В получасовых проверках статуса такой запрос занимал около секунды в Амстердаме и почти две секунды в Мумбаи, а два следующих укладывались в 300-400 мс и 150-300 мс соответственно. Дней, когда тормозили все города разом, не было ни у одного из трёх API.

У Jev разброс узкий, p95 от 140 мс в Сан-Франциско до 342 мс в Мумбаи. Отчасти это следует из устройства модели. Jev не генерирует текст. Запрос состоит из состояния (обычный текст или JSON) и набора вопросов трёх типов: Noul даёт вероятность «да», Choice выбирает один из заданных вариантов, Score ставит оценку по шкале. В ответ приходит решение с распределением вероятностей и уровнем уверенности. Как объясняет TypeSafe, обычные LLM выдают токены по одному, и каждый зависит от предыдущего, а Jev сэмплирует параллельно и получает все выходы за один проход. Все вопросы к одному состоянию API тоже оценивает параллельно, в одном вызове.

Clef: открытые веса и долгие ответы

Clef проиграл в каждом из шести городов. Лучшее типичное время у него 248 мс из Монреаля, худшее 647 мс из Мумбаи. Самый длинный хвост в замере тоже у Clef: p95 из Сингапура 1509 мс, из Токио 1176 мс. Зато только у него открыты веса: модель на 27 миллиардов параметров под лицензией Apache-2.0, которую можно запустить у себя. Clef принимает до четырёх картинок. Замер шёл на бесплатной квоте Workers AI, и измеряли именно clef, без clef-flash.

По цене входа Jev самый дешёвый: 0,042 доллара за миллион токенов. У OpenAI 0,10 доллара, у Clef 0,24 доллара, выходные токены у обоих бесплатны. Цену выходных токенов Jev в таблице Latencyradar не указали, а TypeSafe на своей странице пишет, что они ничего не стоят. Есть и ограничение: Jev пока принимает только текст, длина входа до 64 тысяч токенов, из них 32 тысячи на состояние вместе с самым длинным вопросом. Decisions API понимает и картинки.

Как мерили

Всем трём API задавали один и тот же вопрос, «клиент прямо просит вернуть деньги», к одному и тому же сообщению в поддержку из двух предложений, по пять раз в день из каждого города. Стриминга нет ни у кого, поэтому таймер останавливали на полном JSON-ответе, и каждый запрос шёл по новому соединению. Сравнивать эти цифры со временем до первого токена у потоковых чат-API нельзя. Jev и Clef получают запрос в одном формате, а OpenAI тот же вопрос передавали как предикат в её собственном формате.

Верность ответов замер не проверял: на странице сравнивается только скорость.