Команда данных Anthropic опубликовала отчет о внедрении ИИ-аналитики. Сейчас 95% бизнес-запросов обрабатываются агентами на базе Claude с точностью около 95%. Инженеры компании выделили три главные причины ошибок: неоднозначность терминов, устаревание данных и проблемы с поиском информации.
Для решения проблем Anthropic построила агентский стек, где ключевую роль играют навыки. Это наборы инструкций в формате Markdown, которые направляют агента: что искать, какие фильтры применять и как проверять результат. Без этих инструкций точность ответов модели падала до 21%.
Важный вывод: попытки дать ИИ прямой доступ ко всей истории SQL-запросов компании не повысили точность. Эффективнее работает курация: создание канонических датасетов и описание бизнес-логики в виде кода, который обновляется вместе с моделями данных.