Перейти к содержанию

Открытые модели

AWS отдаёт свою модель-решалку вместе с рецептом обучения

4 мин чтения

Текст написан ИИ-моделью по источникам, на которые ведут ссылки, и сверен с ними второй моделью. Как мы работаем

Изображение: aiaffairs.com

Свою модель для решений, Strands Decider 2B, AWS 1 октября выложила для скачивания вместе с данными и скриптами, на которых её обучали. Текст она не пишет. Модель выбирает один из вариантов, которые передал разработчик, или возвращает числовую оценку, и работает локально, на машине разработчика.

Волну таких моделей, как пишет The New Stack, запустила Jev от TypeSafe. Её открыли в ограниченном раннем доступе 15 сентября, а с 21 сентября облачный API доступен всем без листа ожидания. Jev закрытая и работает только через облако: в TypeSafe берут 0,042 доллара за миллион входных токенов, выходные бесплатны. Следом свои версии начали выпускать крупные вендоры. Во вторник, 29 сентября, OpenAI показала Decisions API в ограниченном превью. Это тоже облачный сервис: он работает на модели Luna и рассчитан на вопросы с заранее заданными ответами. AWS пошла другим путём и отдала саму модель.

Задачи у таких моделей узкие: направить запрос на естественном языке нужному обработчику, выбрать инструмент, оценить ответ другой модели, проверить действие, которое агент собирается совершить. Разговор и сложную работу оставляют генеративным моделям.

Внутри Strands Decider лежит Qwen3.5-2B. В AWS её называют «торсом»: она отвечает за понимание языка. С неё сняли языковую голову, которая генерирует текст, и поставили на её место pointer head, указатель, который оценивает каждый из переданных вариантов. В этой голове всего чуть больше миллиона параметров, а саму Qwen дообучили через LoRA ранга 16: небольшой адаптер поверх основных весов. У Jev, судя по описанию TypeSafe, похожая идея решена иначе: все варианты оцениваются параллельно за один запрос, а обучают модель собственным методом RLCD, который нацелен на калиброванные решения.

Из такой конструкции следует главное свойство. Модель не может выдумать вариант, которого не было в списке. Ошибиться она при этом может, выбрав не тот из предложенных, но и большие языковые модели правы не всегда. Взамен разработчик получает быстрый ответ и оценку уверенности, по которой можно решать, что делать дальше.

В примере AWS, собранном на открытом фреймворке агентов Strands, пользователь спрашивает погоду и не говорит, где. Агент сам подставляет город и собирается вызвать погодный инструмент. До вызова Decider проверяет две вещи: взяты ли значения аргументов из разговора и хватает ли агенту информации, чтобы действовать. Проверка не проходит, и приложение отправляет агента обратно уточнить у пользователя город.

Встраивается проверка через систему вмешательств Strands. Разработчик сам решает, что делать с вызовом инструмента: пропустить, запретить, запросить подтверждение у человека или вернуть агенту замечание. В демо Decider работает локально, а генеративную модель агент вызывает через Amazon Bedrock. В AWS говорят, что готовят библиотеки для интеграции моделей решений. Облачную версию самого Decider компания не анонсировала, а для продакшена разработчикам, как считают в The New Stack, она понадобится.

Добивались в AWS баланса трёх вещей: точности, калибровки и задержки. Калибровка показывает, насколько оценка уверенности совпадает с тем, как часто модель на самом деле права. На публичном наборе JevBench, по словам AWS, Strands Decider занимает второе место среди публичных моделей примерно на 2 миллиарда параметров и первое среди публичных моделей с полностью открытым рецептом обучения. Все вопросы лёгкого уровня JevBench модель решает верно, и это как раз те рутинные решения агента, под которые её строили.

На Nvidia RTX 3090 решение занимает меньше 100 миллисекунд, и время растёт вместе с размером задачи. На M3 MacBook медиана для небольших задач около 150 миллисекунд, уверяют в компании. Для сравнения, OpenAI в сентябре называла для Decisions API 150 миллисекунд на выбор ответа, но речь о сервисе в её облаке. TypeSafe обещает для Jev от 70 до 500 миллисекунд от запроса до ответа.

Как и Kev, ещё одна модель решений, Strands Decider построена на открытой Qwen. Без открытых весов этих экспериментов почти не было бы. Kev уже можно запускать локально и дообучать, а AWS вдобавок открыла данные и скрипты обучения. Так рецепт можно разобрать и подстроить под свои задачи.

Модель выросла в Strands Labs, подразделении AWS для экспериментов с агентным ИИ, которое открылось в этом году. Незадолго до неё компания выпустила Strands Harness: набор инструментов и обвязки для агентов, которые работают долго.

Нынешний Decider уже вторая крупная итерация архитектуры, а первый вариант головы, по словам AWS, работал заметно хуже. Все прежние итерации компания оставила в репозитории, и по ним видно, как менялась модель.

Пока никто не написал. Будьте первым.

Присоединяйтесь к разговору

Войдите, чтобы оставить комментарий. Он появится после модерации.