Jev от TypeSafe AI не берёт денег за выходные токены

С 15 сентября Jev, первая модель TypeSafe AI, доступна разработчикам в раннем доступе. Jev отвечает не текстом, а выбором из вариантов, которые разработчик задал заранее, и к каждому решению прикладывает оценку уверенности. Платить предлагают только за вход: 0,042 доллара за миллион токенов, или 42 доллара за миллиард. Выходные токены бесплатны.

До запуска компания два года работала в стелсе. Jev она называет своей первой System One Model, и разработчиков пускают к ней постепенно, по листу ожидания. Как описывает запуск Testingcatalog, модель задумана как быстрый слой принятия решений внутри софта: приложение получает типизированный ответ и сразу пускает его в дело, без разбора сгенерированной строки.

На вход Jev принимает неструктурированный контекст: текст и состояние программы в структурированном виде. Список допустимых решений и форму ответа разработчик описывает заранее, а модель возвращает по ним вероятностные решения. Последовательной генерации токенов нет, все варианты Jev оценивает параллельно. Напрямую модель работает с наборами до 255 вариантов. Если их больше, задача делится на две стадии: сначала каждый кандидат получает свою оценку независимо от остальных, затем модель выбирает среди них.

TypeSafe гарантирует соответствие схеме и утверждает, что ошибки типов «математически невозможны». Обещание, что Jev не галлюцинирует, касается только ограниченного пространства ответов. Варианта, которого нет в списке, модель не придумает, но правильность каждого решения по существу это не гарантирует.

По замыслу TypeSafe, оценки уверенности помогают разработчику решать, где софт действует автономно, а где передаёт решение дальше. Jev собран из трёх частей: новой архитектуры, параллельного сэмплера и метода RLCD (Reinforcement Learning for Calibrated Decisions). Это обучение с подкреплением, которое добивается, чтобы заявленная уверенность совпадала с тем, как часто модель оказывается права.

Основатель компании Диого Алмейда в посте в X пишет, что после работы соавтором ChatGPT всё задавался вопросом, почему сверхчеловеческие чат-модели не привели к AGI. По его словам, в OpenAI он занимался следованием инструкциям и методами для диалоговых моделей, которые помогли прийти к ChatGPT. TypeSafe AI он основал в 2024 году вместе с Эриком Гафни и Сашей Шенгом, посевной раунд на 40 миллионов долларов возглавил DCVC.

Модель названа в честь парадокса Джевонса: рост эффективности иногда увеличивает общее потребление ресурса. TypeSafe хочет, чтобы приложения вызывали Jev постоянно, как обычную функцию, всякий раз, когда им нужно смысловое суждение. Алмейда, слова которого приводит Yahoo Finance, сформулировал это так: «Большая часть интеллекта со временем должна жить внутри софта и тихо работать в фоне».

Сценарии в списке TypeSafe: классификация, маршрутизация, скоринг, извлечение данных, ветвление логики, обработка больших датасетов, приложения реального времени и проверка того, что выдают LLM. The Robotics Media приводит конкретнее: по утверждению компании, на узких массовых задачах вроде разбора тикетов поддержки, модерации контента или фильтрации сделок Jev примерно в 100 раз быстрее и дешевле ведущих чат-моделей. В демо модель играет в Doom, причём получает структурированное состояние игры плюс текст вместо картинки, и проходит Wikiracing (гонку по ссылкам Википедии).

Сколько раз быстрее

Ответ целиком, по словам TypeSafe, приходит за 70-500 мс. В пресс-материалах к запуску при этом обещали задержку меньше 100 мс и выигрыш «до 100 раз» и в скорости, и в цене. Алмейда в посте в X в тот же день написал о 20-200-кратном ускорении и 40-400-кратной экономии с учётом бесплатного выхода.

Есть и третья версия: ускорение в 40-200 раз на запросах «формата System One» сопоставимой сложности. Примеры на главной странице дают 193,6 раза по скорости и 444,6 раза по стоимости. Сама TypeSafe оговаривается, что эти примеры, скорее всего, лежат ближе к верхнему краю реальных результатов, а то, удастся ли удержать такие цены надолго, пока не доказано.

В тестах рабочих сценариев обе стороны прогоняли через одинаковые вычислительные графы. Ответы Jev сверяли со средними вероятностями GPT-6 Astra и Fable 5.1, эталонных меток при этом не было. Опубликованных сценариев всего четыре, и все собрала команда TypeSafe, отвечающая за возможности модели, так что место для выборочного подхода остаётся.

LLM в сравнении работали через фирменную обёртку TypeSafe, которая приводит обычные модели к структурированным решениям, совместимым с Jev, и это может влиять на их скорость и стоимость. Большинство замеров сделали с ноутбуков на западном побережье США, где находится сервис. А в Wikiracing соперников в основном запускали без режима рассуждений, и компания сама признаёт, что с ним они выглядели бы сильнее.