OpenAI научила Luna выбирать ответ за 150 миллисекунд

По данным OpenAI, новому Decisions API хватает 150 миллисекунд, чтобы выбрать ответ из заданного списка, а обычному GPT-6 Luna на это нужно 1,6 секунды. API построен на Luna и понимает изображения. В анонсе, опубликованном в Twitter, обещаны решения быстрее чем за несколько сотен миллисекунд от запроса до результата.

Коротко

• OpenAI открыла ограниченное превью Decisions API. Этот интерфейс на базе Luna не ведёт диалог, а выбирает один из вариантов, которые задал разработчик, и умеет работать с изображениями.
• Разработчик передаёт вопрос, список ответов и контекст и получает варианты с оценками уверенности. По данным OpenAI, результат приходит за 150 миллисекунд, у GPT-6 Luna на это уходит 1,6 секунды.
• OpenAI пока не раскрыла цену за вызов, предельное число вариантов в одном запросе и возможность дообучения на своих данных. Подробности обещаны при широком запуске, который ожидается в ближайшие дни.

Если вы не следили: как пишет The News Stack, после резкого взлёта Jev от компании TypeSafe decision-модели стали очень популярны. Издание считает Decisions API, скорее всего, ответом OpenAI на Jev. Для самой OpenAI формат не совсем новый. Её Moderation API давно выдаёт оценки по категориям вместо текста, только категории там задаёт OpenAI, а не разработчик.

Decisions API отвечает за 150 миллисекунд, GPT-6 Luna за 1,6 секунды

Скорость OpenAI сравнивает со своей же моделью: 150 миллисекунд у Decisions API против 1,6 секунды у GPT-6 Luna, пишет The News Stack. В исходном анонсе формулировка осторожнее. Там сказано, что API настроен принимать решения быстрее чем за несколько сотен миллисекунд от начала до конца, то есть с учётом всего пути запроса.

В основе API лежит Luna, самая маленькая и самая доступная по цене модель в нынешней линейке OpenAI. Кроме текста, Decisions API принимает на вход изображения. Показали его на ежегодной конференции DevDay во вторник.

Пока доступ открыт только в рамках ограниченного превью, широкий выпуск запланирован на ближайшие дни. Представитель OpenAI сказал The News Stack, что больше подробностей компания раскроет при широком запуске. До тех пор публичного описания почти нет.

Вместо текста API отдаёт готовые варианты с оценками уверенности

Decision-модели сознательно устроены не как чат. Разработчик передаёт три вещи: вопрос, набор допустимых ответов и контекст. Обратно приходит тот же набор ответов, и у каждого своя оценка уверенности, так что программа сразу видит, какой вариант выбран и насколько модель в нём уверена.

По сравнению с чат-моделью разница примерно как между анкетой с галочками и письмом в свободной форме. Ответ из письма ещё нужно вытащить и истолковать, а галочку видно сразу. У машины в этой ситуации нет простора для пересказа: она отмечает пункт и ставит рядом число.

Обычные LLM справляются с такой задачей не очень хорошо, пишет The News Stack. Их оценка уверенности часто оказывается грубой прикидкой, и чтобы до неё добраться, модель тратит немало токенов. По словам издания, decision-модели дают более реалистичные оценки и возвращают их очень быстро. Отсюда сценарии: классификация контента, маршрутизация запросов и выбор следующего действия агента из ограниченного набора.

Новые метки decision-модель берёт из промпта, а классификатор приходится переобучать

Сегодня большинство команд решают такие задачи одним из двух способов. Первый: обычная чат-модель и тщательно сформулированный промпт с просьбой выбрать пункт из списка. Если повезёт, из вероятностей токенов удаётся собрать что-то похожее на оценку уверенности.

Второй способ: обучить маленький классификатор. Он быстрый и дешёвый, но ему нужны размеченные данные, а при каждой смене набора меток его приходится переобучать заново. Decision-модель встаёт между этими вариантами. Новые метки она принимает прямо в промпте, как чат-модель, а на выходе даёт оценку, с которой разработчик может работать в коде.

Самое слабое место анонса в том, чего в нём нет. Неизвестно, сколько стоит вызов, сколько вариантов помещается в один запрос и можно ли подстроить API под свои данные. По оценке The News Stack, от этого и зависит, станет ли он стандартным элементом агентных фреймворков. На наш взгляд, сравнение скорости тоже пока трудно проверить: в анонсе говорится о нескольких сотнях миллисекунд, а цифра в 150 миллисекунд опубликована без описания условий замера.

Три цифры к широкому запуску

Широкий выпуск OpenAI обещает в ближайшие дни, точная дата не названа. Тогда же, по словам представителя компании, появятся подробности. Ждём прежде всего три ответа: цену за вызов, предел числа вариантов в одном запросе и наличие дообучения на собственных данных. Пока их нет, по деньгам не получится сравнить Decisions API ни с Jev, ни с собственным маленьким классификатором.