Корпорации переходят на маршрутизацию ИИ для экономии бюджета

Компании начинают ограничивать расходы на ИИ, отказываясь от использования топовых моделей для простых задач. По данным CEO Glean Арвинда Джайна, около 95% корпоративного использования ИИ сейчас приходится на самые дорогие модели, хотя многие из них можно заменить дешевыми аналогами.

Маршрутизация позволяет направлять сложные запросы к мощным моделям, а рутинные операции к быстрым и недорогим. По оценке CEO Cognition Скотта Ву, это дает пятикратную или десятикратную экономию на типовых задачах. Cisco, например, столкнулась с расходами в 200 долларов на сотрудника в неделю, что при штате в 90 000 человек создает нагрузку в 900 миллионов долларов в год.

Разработчики ИИ начинают реагировать на этот запрос. Cognition ввела гарантию продуктивности, обязуясь компенсировать разницу, если агент Devin не приносит ожидаемой экономии.