Перейти к содержанию

Инструменты разработчика

Маршрутизацию моделей включили по умолчанию в Replit

4 мин чтения

Текст написан ИИ-моделью по источникам, на которые ведут ссылки, и сверен с ними второй моделью. Как мы работаем

Всё о теме: Агенты для программирования →
Изображение: thenewstack.io

Replit 27 августа включила для всех аккаунтов автоматический выбор модели по умолчанию. Теперь каждая сессия Agent стартует в Free Mode, где модель выбирает система Auto, а основная работа идёт на GPT-5.6 Luna, самом дешёвом уровне семейства GPT-5.6.

Как рассказал The New Stack президент и руководитель направления ИИ в Replit Микеле Катаста, маршрутизатор учитывает качество, скорость и цену и может сменить модель прямо по ходу задачи, когда меняется её сложность. Подписчики Core и Pro по-прежнему могут отключить Auto и выбрать модель вручную. Остальная механика описана в документации Replit.

Как устроен Free Mode

Free Mode Replit запустила неделей раньше как дешёвый режим Agent, который не расходует кредиты подписки. Он всегда работает через Auto, и выбрать конкретную модель в нём нельзя. Основная модель здесь - GPT-5.6 Luna, младший уровень семейства, ниже Terra и флагманской Sol. В OpenAI объясняют, что Replit может передать задачу на GPT-5.6 Sol, когда нужно более глубокое рассуждение, а потом вернуть её на Luna и сохранить при этом контекст проекта. Именно так выглядит обещанная смена модели внутри одной задачи: дорогая модель подключается только на тот участок, где она нужна.

«Бесплатный» режим бесплатен в пределах лимита. У Core и Pro лимиты обнуляются каждые пять часов, у Pro они выше. Сколько осталось и когда будет сброс, видно в разделе Settings → Usage. Тариф Starter сохраняет прежний ограниченный доступ.

По оценке самой Replit, через Free Mode подписчик Core может сделать до 30 раз больше, чем раньше, и получить до 30 часов чата в месяц. На каких задачах и промптах это измеряли, компания не раскрывала.

Есть и исключение: Replit Routines, автоматизация повторяющихся задач, в Free Mode не запускаются. Им нужен режим Power или Max и отдельный бюджет на каждый запуск.

Когда Agent просит платный режим

Если Agent решает, что запрос лучше выполнит платный режим, он объясняет почему и предлагает выбор: разрешить платный режим только для этого запроса или остаться в Free Mode. После разовой эскалации сессия возвращается в Free Mode, так что случайно застрять в дорогом режиме не получится.

Режимов два. Power, который раньше назывался Economy, балансирует цену и возможности. Max использует более сильные модели для крупных изменений, глубокого рассуждения и долгих сборок. На Core и Pro внутри обоих можно оставить Auto, и тогда Replit по-прежнему подбирает модель под каждую задачу, но уже за деньги, или выключить его и выбрать модель самому.

Платную работу Agent Replit считает по объёму усилий, без счётчика токенов на каждую задачу: в цену входят вызовы моделей, инструменты, оркестрация и сделанная работа. Деплой, хранилище, базы данных и другие облачные сервисы оплачиваются отдельно, а любое платное действие перед стартом требует подтверждения.

Для Enterprise добавлен ещё один рычаг: администратор может ограничить Auto списком одобренных моделей для каждого рабочего пространства. Маршрутизация продолжает работать автоматически, но выбирает только из того, что разрешает политика компании.

Почему все строят роутеры

Replit здесь не первая. Ранее в августе Stripe договорилась о покупке шлюза к моделям OpenRouter, по сообщениям, за 8 миллиардов долларов. В тот же день Ramp запустила Router.com, который отправляет запрос самой дешёвой модели, проходящей заданную планку качества. В июле свой роутер для запросов на код выпустила Cursor, принадлежащая SpaceX: там обещают сопоставимое качество при заметно меньшей цене. А Meta, по сообщениям, разрабатывает внутренний роутер Switchboard, который оценивает сложность задачи и отдаёт простые дешёвым моделям.

Катаста объясняет моду на маршрутизацию экономикой. «Даже внутри одного семейства моделей цена за токен может различаться на порядки, - говорит он. - При этом дешёвые небольшие модели по уровню интеллекта теперь гораздо ближе к своим старшим фронтирным собратьям, и это даёт нам много места для оптимизации затрат».

Ставка на обвязку агента

Cursor, которую SpaceX согласилась купить за 60 миллиардов долларов, давно вкладывается в собственные модели для кода, включая семейство Composer. Replit свою позицию строит иначе: собственные модели не главное в её подаче. Компания делает ставку на то, что контроль над агентом и окружающими его системами даёт достаточно сигналов, чтобы выбирать модель на лету.

«Replit с самого начала владела и обвязкой агента, и инфраструктурой вокруг моделей, а это позволяет нам обучать сложные маршрутизаторы», - говорит Катаста. Под обвязкой (harness) здесь понимается код, который ведёт агента: инструменты, контекст, цикл вызовов модели. По словам Катасты, роутеру нужно угадать характер, сложность, масштаб и цель запроса, а Replit может обучать его на собственных данных об использовании и видеть эти сигналы по всей своей аудитории.

До публичного запуска маршрутизацию долго держали в бете, параллельно испытывая ранние версии Auto, маршрутизацию субагентов и несколько итераций системы. Главный урок, по словам Катасты, в том, чтобы разбирать причины провала каждого эксперимента с нуля и на этом постепенно улучшать итоговую систему. Законченной он её при этом не называет: маршрутизация, по его словам, всё ещё на ранней стадии и лишь одна часть исследований обвязки, с которыми она тесно связана.

Про внешних поставщиков роутеров Катаста высказался прямо: «Ни одна сторонняя компания-маршрутизатор не смогла бы повторить такие результаты для нашего агента».

Пока никто не написал. Будьте первым.

Присоединяйтесь к разговору

Войдите, чтобы оставить комментарий. Он появится после модерации.