73% на OSWorld 2.0 и две трети цены конкурентов

В задании с Chrome Dino из бенчмарка OSWorld 2.0 агент Sai от Simular не стал прыгать вручную: он написал цикл управления и запустил его на виртуальной машине одним вызовом execute. Таким планированием в коде Simular объясняет выгодное соотношение цены и результата, с которым Sai, по заявлению компании от 27 августа, решает 73% задач OSWorld 2.0.
Подробности и комментарий технического директора компании приводит The New Stack. В бенчмарке 108 задач, на которые у квалифицированного специалиста, как правило, уходит больше часа. Для сравнения Simular берёт 62,57% у GPT-5.6 Sol по данным OpenAI и 70,57% у Opus 5 по данным Anthropic. По словам компании, Sai обошёл обе модели, хотя стоит примерно две трети цены каждой из них. Все три числа пока опубликованы самими разработчиками, лидерборд бенчмарка их ещё не показывает.
Сооснователь и технический директор Simular Цзячэнь Ян рассказал The New Stack, что агенты для рутинной, но нужной работы вроде рекрутинговых рассылок, проверки счетов или сбора свежих новостей не должны «прожигать дыру в кармане» только потому, что «базовую модель учили решать великие открытые математические гипотезы планеты».
«Потомки сочтут нелепым, что сейчас люди всё ещё строят модели таким образом. Оптимальный баланс цены и результата у Sai на OSWorld 2.0 - шаг к будущему, в котором не придётся мириться с непомерными ценами, чтобы сделать работу».
Где Sai экономит
В задании с Chrome Dino нужно было набрать заданный счёт на живой странице. Sai по сырым пикселям замерил линию земли, скорость препятствий и собственную задержку ввода, а потом написал цикл, который снимает экран, находит препятствие и прыгает. Игру, где одни и те же действия нужно повторять в реальном времени, агент решил как задачу на программирование, а не на клики.
В среднем Sai делает примерно в 1,5 раза меньше вызовов модели, чем агенты на чистых моделях. За один ход он выполняет больше действий: длинные подзадачи он планирует и исполняет на Simulang. Так называется навык Claude Code для автоматизации десктопа на macOS, и Simular использует его как символьный язык планирования.
Вторая статья экономии связана с контекстом. Sai держит размер входа ограниченным с помощью адаптивной суммаризации: история задачи периодически сжимается, и окно контекста остаётся небольшим. Чтобы кэширование и память работали эффективнее, до очередного сжатия агент как можно дольше не меняет начало промпта. Важные данные задачи при этом живут в памяти исполняемого кода и доступны до конца выполнения.
Третья статья связана с выбором моделей. Для поиска элементов интерфейса на экране, для чистого рассуждения и для проверки результата Sai вызывает отдельные специализированные модели и интерфейсы. Дорогие модели он не задействует на тех шагах, где полный контекст задачи не нужен.
Под всем этим лежит подход, который Simular называет нейросимвольным. Нейросеть исследует задачу, а решённая задача превращается в код, который каждый раз воспроизводится одинаково. Поэтому сотый счёт обходится дешевле первого. На своём сайте компания обещает, что повторяющиеся задачи со временем «становятся надёжнее и дешевле», и говорит об экономии «90%+» токенов.
Что проверяет OSWorld 2.0
Бенчмарк выпустила лаборатория XLANG из группы HKU NLP Гонконгского университета 26 июня, а 8 августа обновила. В первой версии задачи измерялись минутами, во второй часами. В них нужно собирать данные из нескольких мест, например чеки, разбросанные по почте и отчётам о расходах, реагировать на изменения посреди работы вроде письма, пришедшего на середине задачи, точно следовать инструкциям вроде правил возмещения расходов и разбираться с противоречивыми данными.
В задаче 28, «запись на вакцинацию», агенту приходит письмо о том, какие прививки нужны, на рабочем столе лежит скан прививочного сертификата, а на сайте для записи действуют ограничения по цене, расстоянию и дате. В Simular считают OSWorld 2.0 самым надёжным открытым бенчмарком в индустрии и лучшим отражением реальных задач.
С первой версией бенчмарка у компании своя история: в декабре 2025 года её открытый агент Agent S первым превзошёл на OSWorld 1.0 базовый уровень человека. Сам Sai Simular выпустила в марте. Агент работает с полноценными десктопными приложениями и веб-страницами, вызывает API и пишет код. Компания из Пало-Альто называет себя исследовательским агентным стартапом. Её основали выходцы из DeepMind: генеральный директор Ан Ли и Цзячэнь Ян.
Демо против продакшена
Специалист по машинному обучению Сантьяго Вальдаррама написал в LinkedIn: «Поскольку Sai работает на полном десктопе, а не только в браузере или через API, он справляется с приложениями, которые блокируют стандартную автоматизацию. Так открывается целый класс задач, к которым большинство агентов даже подступиться не могут».
В той же ветке Балджиндер Лалли, который строит системы для выручки на ИИ, ответил, что появление Sai «совпадает с тем, что я видел», когда собирал агентные процессы. И тут же оговорился: «Демо выглядят отлично, но надёжность дают ограничители, прозрачность и контрольные точки с участием человека».
Основатель AgenticMode AI Джаханзаиб А. (Jahanzaib A.) рассказал, что сталкивался с теми же проблемами надёжности у голосовых агентов: «Они проходили каждое демо, а потом молча падали в продакшене на пограничных случаях, которых никто не предвидел. Наблюдаемость решает всё: без неё вы отлаживаете вслепую».
На официальном сайте OSWorld 2.0 результата Sai пока нет, хотя результаты на OSWorld 1.0 там появлялись. На вопрос почему в Simular ответили, что компании и организации нередко сначала публикуют результаты у себя, и привели в пример Anthropic и OpenAI. Сейчас компания подаёт заявку в лидерборд OSWorld 2.0 и выкладывает на Hugging Face трассы выполнения, пошаговые записи действий агента.
Дальше
Claudeforce: 37 навыков продаж внутри Claude
«Вероятностный интеллект сам по себе не управляет компанией», сказал Марк Бениофф о запуске Claudeforce. Плагин Salesforce in Claude даёт 37 готовых навыков продаж, открытая бета в сентябре 2026 года.
Читайте также
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

