Перейти к содержанию

Железо и инфраструктура

Локальный агент Perplexity требует DGX Spark

4 мин чтения

Текст написан ИИ-моделью по источникам, на которые ведут ссылки, и сверен с ними второй моделью. Как мы работаем

Видео: threads.com

Perplexity 25 августа перенесла своего агента Computer из облака на машину пользователя. В Portable Computer локально работают и модель, и обвязка, которая ведёт цикл агента, а запускается всё это на DGX Spark от Nvidia или на ПК с картой RTX (анонс в Threads). Основная инженерная работа, по словам компании, ушла именно в обвязку.

На выбор сейчас две модели: Qwen3.8-27B и PPLX 27B, её дообученная Perplexity версия. Nemotron 3.5 Lightning от Nvidia появится позже. Можно подключить и свою модель со своим сервером инференса.

Нейт Капп, вице-президент Perplexity по Computer Enterprise и инфраструктуре, рассказал The New Stack, что команде пришлось «пересмотреть почти всё по всему стеку». Многие возможности Computer переиспользовали, но обвязку и настройки модели переделали под локальное железо. Модели всё так же нужно планировать задачу, вызывать инструменты, работать с файлами и проходить многошаговые сценарии, только параметров у неё намного меньше, чем у облачных моделей Perplexity. Облачный Computer запустили 25 февраля, и рассуждением в нём на старте, как писала Ars Technica, занималась Claude Opus 4.6.

Оркестратор, который держит цикл агента, написан как детерминированный код, второй модели там нет. Локальная модель предлагает действие, а оркестратор собирает контекст, применяет политики и запускает одобренные вызовы инструментов в песочнице на уровне ОС. По описанию компании, песочница ограничивает процессы, пути в файловой системе и доступ к сети. Если песочницы нет, обвязка отключается ещё до первого вызова инструмента и не запускает их без изоляции.

Обвязку строили и вокруг реального предела контекста. В Perplexity говорят, что окно у Qwen3.8-27B составляет 260 000 токенов, но уже после 100 000 модель начинает сбоить. Поэтому базовый промпт и набор инструментов держат маленькими, а дополнительные навыки подгружают по мере надобности. Популярные коннекторы переделали в утилиты командной строки, чтобы не отдавать модели громоздкие описания инструментов в формате Model Context Protocol, протокола для подключения агентов к внешним сервисам.

Вклад обвязки компания показывает на сравнении с одной и той же базовой моделью Qwen3.8-27B на одном и том же DGX Spark. На внутреннем Local Knowledge Work Bench из 53 задач Computer набрал 82,6%, обвязка Pi 77,6%, Hermes 74%. На ParseBench-100, подборке из 100 задач по графикам, вёрстке, таблицам, тексту и форматированию, у Computer 65,1%, у Hermes 34,6%, у Pi 13,9%. Внутренний бенчмарк Perplexity обещает выложить в открытый доступ.

Каждая задача стартует на устройстве. Если локальная модель не справляется с шагом, она может попросить совета у облачной. Тогда обвязка отбирает нужный контекст, помечает потенциально чувствительные данные, показывает пользователю, что уйдёт с машины, и ждёт подтверждения. Облачная модель возвращает только текстовую подсказку, без доступа к файлам и инструментам, а исполнение остаётся за локальным оркестратором.

В комплекте есть коннекторы к Google Drive, Gmail, Slack и GitHub. Веб-поиск и вызовы коннекторов уходят с устройства, а инференс и обработка личных документов, уверяют в компании, остаются локальными. На демонстрациях агент на DGX Spark разбирал папку с налоговыми документами, а в другом примере анализировал локальный CSV и отправлял выводы в Slack.

Порог входа по железу высокий. Самый простой вариант - DGX Spark с DGX OS за 4800 долларов. Второй - обычный ПК на Ubuntu (ARM или x64) с картой Nvidia RTX, у которой не меньше 24 ГБ видеопамяти. The New Stack отмечает, что даже старая RTX 3090 с 24 ГБ стоит сейчас заметно больше 1500 долларов, и из-за дефицита памяти дешевле, скорее всего, не станет. По словам Каппа, собрать то же самое из локального сервера модели, инструментов и среды исполнения разработчики могут и сами, но Portable Computer готов к работе сразу. «Не нужно возиться с инференсом», - говорит он.

Доступ получат подписчики Pro, Max, Enterprise Pro и Enterprise Max. Задачи, выполненные локально, не тратят кредиты, пока система не обращается к облачным моделям Perplexity.

Personal Computer, приложение Perplexity для Mac и Windows, которое работает с локальными файлами и нативными программами, - другой продукт. Portable Computer запускает модель и обвязку локально, но «управлением компьютером мы пока не занимаемся», уточняет Капп.

Владельцам Mac, даже самых мощных, Portable Computer пока недоступен, а поддержка Windows запланирована на сентябрь. По словам Каппа, другое железо компания рассматривает, но «пока» она «очень сосредоточена на Nvidia, и на DGX, и на RTX».

ClaudeClaude Code

Лютке грозит запретить Claude Code из-за AGENTS.md

Тоби Лютке пишет, что думает запретить Claude Code в Shopify, пока тот не начнёт читать AGENTS.md. Упор только на свой файл, по его словам, иногда разводит контекст у команды, работающей разными инструментами.

Пока никто не написал. Будьте первым.

Присоединяйтесь к разговору

Войдите, чтобы оставить комментарий. Он появится после модерации.