Сигнал о риске вместо логов клиента

OpenAI 19 августа показала Private Safety Processing. Эта система должна отслеживать злоупотребления самыми мощными моделями и при этом не хранить данные бизнес-клиентов. Anthropic выбрала обратный путь: корпоративные клиенты, которым нужны Fable 5 и Mythos 5, обязаны согласиться на хранение запросов и ответов в течение 30 дней, сообщает Axios.
Исходное положение OpenAI описывает в своём посте. Zero Data Retention (ZDR) - это обещание не хранить промпты и ответы модели для подходящих клиентов API после того, как запрос обработан. Сотрудники OpenAI этот контент не видят, а данные корпоративных клиентов идут в обучение только при явном согласии. Защитные системы, совместимые с ZDR, до сих пор проверяли каждое обращение по отдельности. Новая система ищет закономерности в цепочке связанных обращений, и доступа к их содержимому сотрудники OpenAI по-прежнему не получают. Наружу, в OpenAI, уходит только узко определённый сигнал безопасности, без самих промптов и ответов.
Данные при этом лежат там же, где и раньше. Это может быть инфраструктура под контролем клиента, как в ZDR-развёртываниях, или хранилище OpenAI. Во втором случае контент шифруется ключами, которыми управляет клиент, и копии этих ключей у сотрудников OpenAI нет.
Глава продуктовой политики OpenAI Алия Хаузи (Aleah Houze) объяснила на брифинге для журналистов, зачем понадобился контекст за длительный период: у более способных фронтирных моделей риски «часто проявляются не в одной паре из промпта и ответа, а когда смотришь на множество взаимодействий во времени». Пример она привела такой: «Человек может в одном разговоре спрашивать о слабых местах в софте компании, а потом в другом - об удалённом доступе или о том, что способны обнаружить средства защиты». Если увидеть такие сигналы вместе, можно заметить подготовку кибератаки.
OpenAI перечисляет и другие случаи, которые не видны при проверке по одному обращению: злоумышленник раз за разом прощупывает защитные механизмы, координирует действия с нескольких аккаунтов или выдаёт угрозу за рутинное исследование. Риск может возникнуть и по ходу агентной задачи, например если система продолжает действовать после команды остановиться. Отдельно компания упоминает, что некоторые недавние запуски фронтирных моделей обязывали клиентов разрешить поставщику хранить чувствительный контент для мониторинга. По словам OpenAI, у многих организаций такое требование противоречит обязательствам по безопасности или перед людьми, которых они обслуживают.
В Anthropic считают, что без хранения данных не обойтись. «Недавно мы объявили о плане требовать 30-дневного хранения данных для наших самых способных моделей. Мы понимаем, что клиентам, привыкшим к нулевому хранению, это решение не понравится и что оно несёт реальные риски для нашего бизнеса (особенно если конкуренты не последуют примеру), но считаем его необходимым, чтобы выявлять и предотвращать сложные атаки, растянутые на множество запросов», - написала компания в отчёте о рисках на прошлой неделе. Само требование действует с 9 июня. В справочном центре Anthropic сказано, что входы и выходы API удаляются автоматически в течение 30 дней, а для так называемых Covered Models компания требует ограниченного хранения и проверки данных. Если автоматические системы помечают чат как нарушающий правила использования, его содержимое хранится до 2 лет, а оценки классификаторов до 7 лет.
Как сообщает The Register, Anthropic сохраняет промпты и ответы Fable и Mythos даже у клиентов с ZDR-соглашениями. Компания объясняла это тем, что модели способны взламывать компании, что она видела «существенные свидетельства попыток злоупотребления ИИ-моделями» и что ей нужно сопоставлять события во времени и между аккаунтами. Там же приводится признание Anthropic: компании, с которыми она работала, в целом понимали пользу хранения данных для безопасности, но многим, особенно в регулируемых отраслях, было трудно работать с моделями, данные которых хранятся.
Это не единственный вопрос, в котором подходы двух лабораторий расходятся. Во вторник, 18 августа, OpenAI сообщила, что приостановила часть работ по обучению новых моделей из-за проблем с безопасностью. Anthropic говорит, что сейчас не видит необходимости поступать так же.
Private Safety Processing рассчитана на корпоративных клиентов и клиентов API, которые подходят под условия, и пока проходит тестирование у первых из них. На потребительские тарифы ChatGPT она не распространяется: ZDR не действует для Free, Plus, Go и Pro, настройки данных этих пользователей не меняются. На сентябрь OpenAI запланировала широкий запуск и публикацию технического white paper.
Позже, 2 сентября, The Register сообщил, что Anthropic вместе с Fable 5.1 и Mythos 5.1 объявила Enterprise Frontier Safeguards. В этой схеме данные хранятся в облачной инфраструктуре клиента, а сигналы мониторинга приходят напрямую клиентам. ZDR корпоративным клиентам нужно запрашивать отдельно, Mythos остаётся на прежней политике, а саму схему планируют запустить этой осенью по приглашениям.
22 сентября OpenAI дополнила свой пост: Private Safety Processing раскатывается на клиентов API, доступ расширяется поэтапно. По словам компании, система даёт ей возможность и дальше предлагать ZDR по мере того, как фронтирные модели становятся способнее.
Дальше
Открытая библиотека проверяет подписи агентов OpenAI
«Валидная подпись доказывает владение ключом, а не благонадёжность». Библиотека regent-httpsig для Python проверяет подписанные запросы агентов OpenAI и подписывает ваш трафик, чтобы антибот-фильтры узнавали агента.
Читайте также
- OpenAI дала бизнесу решать, что можно её агентам
- Anthropic Plans to Change Data Retention Policy for Advanced AI
- Claude Fable 5.1 в Copilot требует хранения промптов
- Безопасники требуют у OpenAI и Anthropic доступа
- Глава Irregular объяснил взломы ИИ-агентов ошибкой людей
- Сканер Anthropic нашёл в Pion дыры, жившие больше 4 лет
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

