24 графика Grafana заменили одним навыком Claude Code

Frigade отключила мультирегиональный стек Grafana, который проработал девять месяцев, и перевела те же данные на один навык Claude Code, обращающийся к read-only реплике Postgres. О замене компания рассказала в блоге Frigade.

Коротко

• Навык обращается к тем же данным через read-only сервер, поставленный перед репликой Postgres ещё в мае, и принимает вопросы на обычном языке, без предварительной подготовки запроса.
• Каждый из 24 графиков заводился отдельным пул-реквестом с запросом, типом диаграммы и фильтрами под соседние панели; разделы октября держались, а более поздние вопросы оседали в «Разном».
• Взамен упала надёжность: ответ иногда выглядит неправдоподобно, модель соглашается с возражением и признаёт ошибку, поэтому любые цифры, идущие в решение, по-прежнему сверяют напрямую с базой данных.

Обмен выглядит характерным для нынешнего цикла инструментов: предсказуемость готовой панели меняют на гибкость запроса, который никто не готовил заранее. Дашборд отвечает одинаково всем и ошибается тоже одинаково, а навык отвечает на вопрос, которого никто не предвидел, и ошибается непредсказуемо. Судя по описанию Frigade, решающим оказался не разрыв в точности, а порог усилия: подбор фильтров и дат достаточно утомителен, чтобы вопрос вообще не задавали.

Все 24 графика дашборда заводились отдельными пул-реквестами

Ценность заранее собранного графика в Frigade описывают через доверие: запрос уже кто-то проверил и знает, какие строки принято исключать из подсчёта. Панель отвечает одинаково при каждом открытии, а когда ошибается, ошибается одинаково для всех, кто на неё смотрит. Гибкости в ней нет, зато есть предсказуемость.

К моменту отключения на дашборде было 24 графика. Разделы, заведённые в октябре, выдержали, а почти всё, о чём в компании спрашивали позже, оседало в «Разном». Каждый график проходил через пул-реквест: кто-то писал запрос, выбирал тип диаграммы и подгонял фильтры под соседние панели, чтобы два числа на одном экране не расходились.

Так дашборд отвечал на вопросы, которые задавали в октябре, а всё возникшее позже копилось внизу. Каждый новый вопрос означал ещё один пул-реквест и ещё одну панель, которую кому-то придётся поддерживать через год. В компании хотели получать ответ, не собирая при этом объект, который потом нужно сопровождать.

Read-only сервер перед репликой Postgres появился ещё в мае

В мае Frigade поставила перед той же репликой Postgres read-only сервер и начала задавать ему вопросы обычным текстом. Доступ оказался гибче в любую сторону: можно спросить то, чего раньше не спрашивали, или получить данные по одному клиенту за одну неделю, ничего не собирая заранее. Большинство нынешних запросов приходится на мелкие вопросы, ради которых никто не стал бы строить отдельный график.

Причиной перехода в компании называют простое наблюдение: дашборд перестали открывать. Реальный вопрос почти никогда не ложится на один график: нужен конкретный клиент за конкретную неделю, тренд только по крупным аккаунтам или прошлый месяц в разрезе, который никто не предусмотрел. Фильтрами и выбором дат к этому можно подойти близко, и в Frigade так делали месяцами, но это утомительно настолько, что вопрос проще не задавать.

Утреннюю сводку по будням оставили и перенесли в Slack

Часть проверок в Frigade решили не оставлять на инициативу человека: пересечение порога должно приходить само, а следить за этим ежедневно никто не будет. По будням утром задание собирает сводку и публикует её в Slack. Его запросы хранятся в репозитории и не пишутся каждый раз заново, поэтому задаются одни и те же вопросы и ответы возвращаются одинаково.

Тот же механизм отдали клиентам. В дашборде Frigade есть страница Insights, которая группирует вопросы пользователей по темам, а Frigade Assistant умеет обращаться к данным клиента напрямую: как ассистент отработал на прошлой неделе, какие ответы получили палец вниз, сдвинула ли что-нибудь последняя правка. В ответе приходят ссылки на конкретные вопросы и на пользователей.

Ассистент работает поверх слоя только на чтение и не может изменить базу. В компании заявляют о жёстких ограничениях, которые не дают ему читать данные конкретных пользователей и обращаться к тому, к чему обращаться не следует. Внутренний доступ устроен по тому же принципу.

Сверку с базой не отменили

Проблему достоверности в Frigade считают нерешённой. Ответ иногда выглядит неправдоподобным, а на возражение модель отвечает «You're absolutely right, I made a mistake», и по описанию компании это происходит достаточно часто, чтобы с этим считаться. Поэтому всё, что попадает в решение, проверяют прямым запросом к базе, а сроков, когда такая проверка перестанет быть нужной, компания не называет.