Маршрутизацию моделей включили по умолчанию в Replit

Replit сделала интеллектуальную маршрутизацию моделей вариантом по умолчанию во всех аккаунтах: режим Auto сам подбирает модель под задачу, взвешивая качество, скорость и стоимость, и может сменить её по ходу выполнения. Все пользователи стартуют в Free Mode, где выбор модели остаётся за системой, сообщает Thenewstack.

Коротко

• Система оценивает нужную модель по ходу выполнения агентской задачи и способна переключаться между вариантами в разных её точках, ища баланс между возможностями модели и стоимостью обработки.
• Free Mode не расходует кредиты подписки Core и Pro, но лимиты в нём обнуляются каждые пять часов, у Pro они выше, а выбрать модель вручную в этом режиме нельзя.
• Подписчики Core и Pro сохраняют ручной выбор в режимах Power и Max, где Auto отключается, а администраторы Enterprise ограничивают маршрутизацию списком моделей, одобренных для конкретного рабочего пространства.

Маршрутизация превращается из внутренней оптимизации в слой продукта, который определяет, какую модель вообще увидит разработчик. Для Replit это, судя по всему, способ удержать себестоимость агента при растущем разрыве между ценой топовых моделей и реально требуемым уровнем интеллекта. Одновременно смена умолчаний меняет расклад для поставщиков моделей: доступ к пользователю всё чаще опосредован чужим роутером, а не собственным интерфейсом. Порог входа для ручного сравнения моделей при этом поднимается, поскольку такой выбор остаётся привилегией платных режимов.

Все аккаунты стартуют в Free Mode с лимитами, которые обнуляются каждые пять часов

Основой запуска стал Free Mode, представленный неделей ранее: это более дешёвый вариант режима Agent, который не расходует кредиты подписки и отдаёт выбор модели системе Auto в пределах установленных лимитов. Подписчикам Core и Pro он доступен без списания кредитов, но лимиты обнуляются каждые пять часов, а у Pro квоты выше.

Ручной выбор модели в Free Mode недоступен. Подписчики Core и Pro могут переключиться в режимы Power или Max, отключить там Auto и указать модель самостоятельно; Replit при этом может сам предложить перенести задачу в более мощный режим, если решит, что требуется больше возможностей, а такие режимы расходуют кредиты.

Для корпоративных клиентов предусмотрен отдельный контур: администраторы Enterprise ограничивают Auto набором одобренных моделей для каждого рабочего пространства, так что маршрутизация продолжает работать автоматически, но остаётся в рамках внутренних правил компании. Сам механизм при этом не привязан к одной модели: Replit отмечает, что выбор может меняться по ходу выполнения задачи ради лучшего баланса возможностей и стоимости.

Stripe покупает OpenRouter, а Ramp в тот же день запустила Router.com

Ранее в августе Stripe договорилась о покупке платформы OpenRouter, по сообщениям, за 8 миллиардов долларов, а в тот же день Ramp представила Router.com: сервис направляет запросы к самой дешёвой модели, удовлетворяющей заданной планке производительности. Ещё в июле собственный маршрутизатор запустила Cursor, принадлежащая SpaceX.

Роутер Cursor сам подбирает модели под запросы к коду и, как утверждают в компании, даёт сопоставимое качество при заметно меньшей стоимости. Meta, по сообщениям, разрабатывает внутренний маршрутизатор Switchboard, который оценивает сложность задач по коду и отдаёт простые из них более дешёвым моделям.

Cursor задолго до сделки со SpaceX, согласившейся заплатить за неё 60 миллиардов долларов, вкладывалась в собственные модели для программирования, включая семейство Composer, и продолжает разрабатывать более передовые модели уже под управлением SpaceX. Replit ставку на владение самим слоем моделей не делает.

Микеле Катаста: цена за токен внутри одного семейства моделей различается на порядки

Президент Replit и руководитель направления ИИ Микеле Катаста объясняет интерес индустрии к маршрутизации экономикой: внутри одного семейства моделей ставки за токен различаются на порядки, а интеллект более дешёвых и компактных моделей вплотную приблизился к фронтирным, что оставляет большой запас для оптимизации расходов.

По словам Катасты, последние месяцы ушли на эксперименты с ранними версиями Auto, маршрутизацией между субагентами и несколькими итерациями системы, а перед публичным релизом маршрутизация долго тестировалась в закрытой бете. Главным выводом он называет разбор причин отказов каждого эксперимента с самых основ.

Replit утверждает, что с самого начала контролировала и обвязку агента, и инфраструктуру вокруг моделей, и это даёт возможность обучать собственные маршрутизаторы, в том числе на внутренних данных об использовании. Катаста отмечает, что роутеру приходится определять характер, сложность, объём и намерение запроса, и считает, что сторонний сервис маршрутизации не воспроизвёл бы такой результат для агента Replit.

Какие модели доступны Auto

Список моделей, между которыми переключается Auto, Replit не раскрывает, как и пороги, по которым принимается решение; не названа и стоимость задач в режимах Power и Max, кроме того, что они расходуют кредиты. Катаста называет маршрутизацию ранней стадией развития и лишь одним элементом более широкой работы над обвязкой агента, от которой ждут дальнейших улучшений.