AWS отдаёт свою модель-решалку вместе с рецептом обучения

Свою модель для решений, Strands Decider 2B, AWS 1 октября выложила для скачивания вместе с данными и скриптами, на которых её обучали. Текст она не пишет. Модель выбирает один из вариантов, которые передал разработчик, или возвращает числовую оценку, и работает локально, на машине разработчика.
Волну таких моделей, как пишет The New Stack, запустила Jev от TypeSafe. Её открыли в ограниченном раннем доступе 15 сентября, а с 21 сентября облачный API доступен всем без листа ожидания. Jev закрытая и работает только через облако: в TypeSafe берут 0,042 доллара за миллион входных токенов, выходные бесплатны. Следом свои версии начали выпускать крупные вендоры. Во вторник, 29 сентября, OpenAI показала Decisions API в ограниченном превью. Это тоже облачный сервис: он работает на модели Luna и рассчитан на вопросы с заранее заданными ответами. AWS пошла другим путём и отдала саму модель.
Задачи у таких моделей узкие: направить запрос на естественном языке нужному обработчику, выбрать инструмент, оценить ответ другой модели, проверить действие, которое агент собирается совершить. Разговор и сложную работу оставляют генеративным моделям.
Внутри Strands Decider лежит Qwen3.5-2B. В AWS её называют «торсом»: она отвечает за понимание языка. С неё сняли языковую голову, которая генерирует текст, и поставили на её место pointer head, указатель, который оценивает каждый из переданных вариантов. В этой голове всего чуть больше миллиона параметров, а саму Qwen дообучили через LoRA ранга 16: небольшой адаптер поверх основных весов. У Jev, судя по описанию TypeSafe, похожая идея решена иначе: все варианты оцениваются параллельно за один запрос, а обучают модель собственным методом RLCD, который нацелен на калиброванные решения.
Из такой конструкции следует главное свойство. Модель не может выдумать вариант, которого не было в списке. Ошибиться она при этом может, выбрав не тот из предложенных, но и большие языковые модели правы не всегда. Взамен разработчик получает быстрый ответ и оценку уверенности, по которой можно решать, что делать дальше.
В примере AWS, собранном на открытом фреймворке агентов Strands, пользователь спрашивает погоду и не говорит, где. Агент сам подставляет город и собирается вызвать погодный инструмент. До вызова Decider проверяет две вещи: взяты ли значения аргументов из разговора и хватает ли агенту информации, чтобы действовать. Проверка не проходит, и приложение отправляет агента обратно уточнить у пользователя город.
Встраивается проверка через систему вмешательств Strands. Разработчик сам решает, что делать с вызовом инструмента: пропустить, запретить, запросить подтверждение у человека или вернуть агенту замечание. В демо Decider работает локально, а генеративную модель агент вызывает через Amazon Bedrock. В AWS говорят, что готовят библиотеки для интеграции моделей решений. Облачную версию самого Decider компания не анонсировала, а для продакшена разработчикам, как считают в The New Stack, она понадобится.
Добивались в AWS баланса трёх вещей: точности, калибровки и задержки. Калибровка показывает, насколько оценка уверенности совпадает с тем, как часто модель на самом деле права. На публичном наборе JevBench, по словам AWS, Strands Decider занимает второе место среди публичных моделей примерно на 2 миллиарда параметров и первое среди публичных моделей с полностью открытым рецептом обучения. Все вопросы лёгкого уровня JevBench модель решает верно, и это как раз те рутинные решения агента, под которые её строили.
На Nvidia RTX 3090 решение занимает меньше 100 миллисекунд, и время растёт вместе с размером задачи. На M3 MacBook медиана для небольших задач около 150 миллисекунд, уверяют в компании. Для сравнения, OpenAI в сентябре называла для Decisions API 150 миллисекунд на выбор ответа, но речь о сервисе в её облаке. TypeSafe обещает для Jev от 70 до 500 миллисекунд от запроса до ответа.
Как и Kev, ещё одна модель решений, Strands Decider построена на открытой Qwen. Без открытых весов этих экспериментов почти не было бы. Kev уже можно запускать локально и дообучать, а AWS вдобавок открыла данные и скрипты обучения. Так рецепт можно разобрать и подстроить под свои задачи.
Модель выросла в Strands Labs, подразделении AWS для экспериментов с агентным ИИ, которое открылось в этом году. Незадолго до неё компания выпустила Strands Harness: набор инструментов и обвязки для агентов, которые работают долго.
Нынешний Decider уже вторая крупная итерация архитектуры, а первый вариант головы, по словам AWS, работал заметно хуже. Все прежние итерации компания оставила в репозитории, и по ним видно, как менялась модель.
Дальше
Broadcom одолжит Anthropic до 42 миллиардов на свои же чипы
Anthropic строит инфраструктуру на технологиях Broadcom и, по данным Reuters из проспекта IPO, на её же деньги: до 42 миллиардов долларов в долг. К 2027 году Anthropic, по оценкам, станет её крупнейшим клиентом.
Читайте также
- Модель выбора SubQ Snap берёт 384K токенов вместо 32K
- У Microsoft-Decision-1 выходные токены бесплатные
- OpenAI научила Luna выбирать ответ за 150 миллисекунд
- Jev от TypeSafe AI не берёт денег за выходные токены
- Чат-модели на Hugging Face переехали на роутер OpenRouter
- MCP Apps в Claude: панель, встроенные сайты и инструменты
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

