Decider от Perplexity гоняет модель на Mac без счёта за API

Текст и скриншоты теперь можно размечать моделью Perplexity, не отправляя их в облако. Приложение Decider for Mac, представленное 23 октября, запускает pplx-decider-flash-v1.2 на 4B параметров прямо на Mac и поднимает Decisions API по адресу http://127.0.0.1:8080/v1/decisions.

Запрос к нему - тот же JSON, что и к облачному API. Ключ не нужен, счёт за использование не приходит. В документации Perplexity приложение адресуют тем, чьи данные не должны покидать машину: выгрузки клиентов, заметки со встреч, скриншоты внутренних инструментов, логи с токенами. Модель читает всё это локально.

Что отвечает решающая модель

Решающая модель читает текст и картинки так же, как обычная мультимодальная LLM, только вместо текста возвращает типизированный ответ с вероятностями. Ответы она не пишет, код не генерирует и ход рассуждений не объясняет: дальше с полученными числами работает ваш код. В quickstart к Decisions API описаны три типа вопросов. noul возвращает вероятность «да» от 0 до 1. choice выбирает один из ваших вариантов (их может быть от 1 до 255) и даёт вероятность для каждого, в сумме около единицы. score оценивает контент по рубрике до 10 уровней и возвращает ожидаемую оценку как среднее, взвешенное по вероятностям, поэтому она может оказаться между двумя уровнями.

Контент передаётся в поле state: строкой, объектом или массивом. Каждому вопросу вы даёте имя, и под тем же именем приходит ответ. В примере из документации модель спрашивают, какой команде отдать сообщение в поддержку. Ответ на вопрос route содержит choice (самую вероятную команду), probabilities (по значению на каждую команду) и confidence. Perplexity рекомендует такой API везде, где сейчас у чат-модели просят метку и потом разбирают её ответ: при классификации, маршрутизации, оценке по рубрике. Вместо текста приходит число, которое можно сравнить с порогом.

Картинки кладутся внутрь state как части image_url в стиле OpenAI с data URL. Принимаются PNG, JPEG и WebP, а сам API никогда не скачивает ничего по ссылке. На диске за картинки отвечает отдельный файл: рядом с весами decider-flash-v1.2-q8_0.gguf лежит mmproj-decider-flash-v1.2-f16.gguf, мультимодальный проектор, через который модель читает изображения. Когда оба загружены, в меню горит статус Ready (text + images).

Рядом есть и платная альтернатива того же класса: Microsoft-Decision-1 в октябре стоила 0,042 доллара за миллион входных токенов. У локального Decider счётчика нет совсем.

Один вопрос на запрос

Документация Decider for Mac просит отправлять по одному вопросу в запросе: pplx-decider-flash-v1.2 отвечает на каждый вопрос отдельно. Старшая облачная pplx-decider-v1.2 устроена иначе. Как сказано в её карточке на Hugging Face, она построена на Qwen3.8-27B и читает весь запрос одной последовательностью: сначала state, потом все вопросы, и у каждого вопроса есть своя точка считывания ответа. Несколько вопросов о том же контенте стоят примерно как один, а ответы могут влиять друг на друга. Предыдущая v1.1 отвечала на один вопрос за проход.

На публичном Decision Index 0.3 общий балл pplx-decider-v1.2 составляет 68,09 при совместных запросах и 67,75 при одном вопросе на запрос, у pplx-decider-v1.1-27b было 62,30. Режимы различаются только на 9 бенчмарках, где в запросах по нескольку вопросов, на остальных 28 результаты совпадают. Группировка помогает, когда вопросы описывают грани одного решения, и вредит, когда они конкурируют как кандидаты. Для локальной flash-версии этот выигрыш недоступен: там каждый вопрос уходит отдельным запросом.

Четыре скрипта из документации

Все примеры обходятся тем, что есть в macOS: Python 3 из Command Line Tools и встроенными командами screencapture и sips. Если python3 не установлен, macOS сама предложит поставить Command Line Tools при первом запуске.

Первый скрипт, label_folder.py, проходит по всем .txt в папке и пишет метки в labels.csv. Perplexity советует отсортировать файл по confidence и начинать с нижних строк: там модель была меньше всего уверена, и именно там описания категорий надо дописывать. Потом правите QUESTION и запускаете снова. «Ничто не мешает прогнать его хоть пятьдесят раз», - сказано в документации.

Второй пример - pre-commit хук против секретов в коммитах. Регулярные выражения ловят секреты с известным форматом вроде ключа AWS или заголовка приватного ключа, но пропускают пароль к базе в конфиге или токен, вставленный в комментарий. Хук делает обе проверки на добавляемых строках: совпадение с шаблоном само блокирует коммит, а всё остальное уходит в Decider одним вопросом noul на файл. Коммит останавливается, если вероятность секрета не ниже THRESHOLD, и порог стартует всего с 0,2. Логика в документации такая: «Ложное срабатывание стоит вам повторного взгляда, а пропущенный секрет остаётся в истории Git». Поднимать порог предлагают, только если на уже проверенных коммитах хук слишком часто флагует чистые.

Хук работает по принципу fail closed: если Decider не запущен или не смог ответить по файлу, коммит останавливается с именем файла. Проверенный вручную файл проводят через git commit --no-verify. Бинарные файлы хук не читает и видит только то, что коммитится с этого Mac, поэтому в CI Perplexity советует держать и отдельный сканер секретов.

Третий скрипт, sort_screenshots.py, задаёт по каждой картинке вопрос choice и переносит её в папку с названием ответа: чеки, диалоги с ошибками, переписки, код. Команда sips -Z 1440 ... --out делает копию с длинной стороной 1440 пикселей, чтобы уложиться в лимит на размер изображения. Оригиналы переезжают, но не сжимаются. Новая категория добавляется строкой в criteria.

Четвёртый, check_screen.py, снимает экран через screencapture -x (без звука затвора), сжимает снимок и спрашивает, видна ли на нём ошибка. Его предлагают крутить в цикле, пока идёт долгая сборка или капризный деплой. При первом запуске macOS попросит дать Terminal доступ Screen Recording в System Settings > Privacy & Security. Без него на скриншоте окажутся только обои рабочего стола.

Что нужно Mac

Нужен Mac на Apple silicon (M1 или новее), macOS 13 или новее, 16 ГБ памяти и около 6 ГБ свободного места. По подсчёту Testing Catalog, сама модель занимает 5,8 ГБ. Для скачивания приложения и модели нужна сеть: веса тянутся с Hugging Face, и токен для этого задаётся пунктом меню Set Hugging Face Token…. На Windows, Linux и Mac с Intel остаётся только облачный Decisions API.

Почти всё управляется из меню в строке состояния. Copy Example curl копирует готовый запрос, Copy API URL копирует адрес, Start at Login запускает Decider при входе в систему. Порт выбирается из 8080 (по умолчанию), 8000, 8888, 9000, 11435 или задаётся вручную. Конфиг лежит в ~/Library/Application Support/ai.perplexity.decider/config.toml, но править его не нужно, а host советуют оставить на 127.0.0.1. Quit Decider закрывает приложение, и локальный API останавливается вместе с ним.

Переезд в облако

Когда понадобится облачная пропускная способность или старшая pplx-decider-v1.2, код менять почти не придётся: запрос остаётся тем же, меняются URL на https://api.perplexity.ai/v1/decisions и заголовок Authorization с ключом API.

Модель при этом будет другой. На Mac лежит сборка pplx-decider-flash-v1.2 в формате GGUF с восьмибитной квантизацией q8_0, а в облаке работает иное развёртывание. Поэтому порог, подобранный локально, Perplexity советует перед продакшеном перепроверить на выборке своих данных уже против облачной модели.