OpenAI научила Luna выбирать ответ за 150 миллисекунд

OpenAI 29 сентября представила на DevDay Decisions API. Это API на базе Luna: разработчик даёт ему вопрос и список вариантов, а он выбирает один из них и возвращает оценку уверенности. По словам OpenAI, на это уходит 150 миллисекунд, а у обычной GPT-6 Luna 1,6 секунды. Если вы сейчас классифицируете контент, маршрутизируете запросы или выбираете следующий шаг агента промптом к чат-модели, это способ получить оценку уверенности без своего классификатора. Но пока API доступен только в ограниченном превью.

В анонсе в Twitter Decisions API описан как очень быстрый выбор из заранее заданных вариантов. Он работает на Luna, принимает изображения и настроен укладываться с решением в несколько сотен миллисекунд от запроса до ответа. Цифры, которые OpenAI привела The New Stack, ещё жёстче: 150 миллисекунд против 1,6 секунды у GPT-6 Luna, разница больше чем в десять раз.

Чат-моделью Decisions API не является. Он возвращает набор заданных ответов с оценками уверенности, а разработчику остаётся передать вопросы, варианты и контекст. Сейчас такие задачи обычно решают иначе. Чат-модели дают промпт с просьбой выбрать пункт из списка, а уверенность, если повезёт, вытаскивают из вероятностей токенов. The New Stack считает такие оценки скорее грубой прикидкой, к тому же модель тратит на них немало токенов. Второй путь - обучить маленький классификатор. Он быстрый и дешёвый, но ему нужны размеченные данные и новое обучение при каждой смене набора меток. Decisions API встаёт между этими вариантами: метки передаются прямо в промпте, а на выходе получается оценка, с которой можно работать.

Сама идея для OpenAI не новая. Moderation API давно возвращает оценки по категориям, а не текст, но категории там задаёт OpenAI. В Decisions API варианты наконец задаёт разработчик.

Luna, на которой построен API, - самая дешёвая модель семейства GPT-6. Её выпустили 22 сентября вместе с GPT-6 Sol. В API она стоит 0,10 доллара за миллион входных токенов и 0,50 доллара за миллион выходных. Сколько стоит вызов Decisions API, пока неизвестно. Неизвестно и то, сколько вариантов помещается в один запрос и можно ли дообучить модель на своих данных: подробности представитель OpenAI обещает «при широком запуске». По мнению The New Stack, именно от этих деталей зависит, станет ли API стандартным блоком в фреймворках для агентов или останется нишевым инструментом рядом с чат-моделями.

В The New Stack запуск называют вероятной реакцией на Jev от TypeSafe: после её внезапного успеха модели такого типа стали очень популярны. Там же предполагают, что OpenAI поторопилась с анонсом. Сейчас Decisions API работает в ограниченном превью, широкий запуск запланирован на ближайшие дни.