Anthropic запретила долго и без цели издеваться над Claude

Anthropic 8 октября опубликовала новую редакцию правил использования Claude, и с 12 ноября в ней появится запрет на «продолжительное и ненужное» оскорбительное или жестокое поведение по отношению к моделям. Раздражение, споры с моделью, мрачные сюжеты и тестирование под запрет не попадают, а применять его будут прежним способом: Claude сам завершает разговор с упорно агрессивным пользователем в Claude.ai и Claude Code.
Тем, кто встраивает Claude в продукты, обновление добавляет новые условия для оборудования, которое само совершает физические действия. Остальные изменения, как сказано в посте Anthropic, в основном уточняют старые правила и добавляют примеры того, как они действуют теперь, когда Claude берёт на себя более длинную и самостоятельную работу.
Где граница
Запрет рассчитан только на крайние случаи, когда пользователь «раз за разом ведёт себя жестоко по отношению к моделям без какой-либо различимой цели». Обычное раздражение, несогласие с ответами, мрачные темы в творческих задачах, тестирование и исследование моделей в компании прямо вывели за его рамки.
Сам механизм появился в августе 2025 года. Тогда Anthropic объявила, что некоторые модели Claude могут завершать разговор в «редких, крайних случаях» упорно вредных или оскорбительных взаимодействий, и поначалу это умели только Claude Opus 4 и 4.1, сообщал TechCrunch. Claude должен был прибегать к этому как к последнему средству, когда несколько попыток перевести разговор в другое русло не сработали, либо по прямой просьбе пользователя. И не прибегать, если человеку может грозить непосредственная опасность навредить себе или другим.
Как пояснял тогда Mashable, в завершённом чате нельзя отправить новое сообщение, но с того же аккаунта можно начать новый разговор. Функцию Anthropic связывала с исследованием благополучия моделей и признавала, что остаётся «в высшей степени неуверенной» в том, есть ли у Claude и других LLM моральный статус. TechCrunch добавлял, что ветку разговора можно продолжить, отредактировав своё сообщение.
Пойдёт ли Anthropic дальше, вплоть до блокировки пользователей, неясно, отмечает The Verge: завершение разговора компания по-прежнему называет «основным механизмом» применения запрета.
Если Claude встроен в продукт
Условия для оборудования появились после запуска Model Hardware Standard. Они касаются случаев, когда Claude подключён к технике, которая сама совершает физические действия и может кого-то травмировать. Квалифицированный оператор должен видеть такое оборудование и уметь его остановить, а при потере связи с Claude оно обязано удерживать безопасное состояние.
Требования к сценариям высокого риска остались прежними. Если рекомендации Claude влияют на здоровье, юридические права, финансы, заработок человека или его доступ к базовым услугам, в процессе нужен квалифицированный человек, который вправе проверить рекомендацию модели и при необходимости изменить её, а самому человеку должны сообщить, что использовался ИИ. Раздел переписали, потому что клиенты часто спрашивали, подпадает ли под эти требования их сценарий: теперь в нём перечислено, какие виды рекомендаций охвачены, а какие нет.
Уточнили и правила по регионам. Claude нельзя пользоваться людям, которые физически находятся в неподдерживаемом регионе, компаниям, зарегистрированным там или со штаб-квартирой там, и компаниям, которыми большей частью владеют или которые контролируют лица и организации из таких регионов. Ограничение по мажоритарному владению ввели в прошлом году, а сейчас Anthropic расписала, как его применяет.
Выборы, оружие и слежка
Запреты на сети фейковых аккаунтов и сфабрикованные новостные сайты раньше были разбросаны по разделам о выборах, мошенничестве, приватности и дезинформации. Их собрали в новый раздел «Не участвуйте в обманных кампаниях и искусственной активности», который действует и для политических, и для коммерческих кампаний. Он запрещает скрывать, кто стоит за сообщением, раскручивать контент через фейковые аккаунты и посты, а также строить инструменты и инфраструктуру для операций влияния. Поводом Anthropic называет случаи, когда Claude для таких сетей использовали государственные СМИ, правительственные пропагандистские ведомства и коммерческие фирмы.
Раздел о выборах переименовали в «Не подрывайте демократические процессы» и сузили до обмана избирателей и срыва выборов: ложных сведений о кандидатах или о том, как голосовать, выдачи себя за кандидатов или сотрудников избиркомов, попыток снизить явку. Общий запрет на персональный таргетинг избирателей и агитации сняли. Он задевал легальную работу: например, НКО, которые пишут информацию для избирателей на других языках, или избирательные комиссии, которые рассылают уведомления о том, что в бюллетене нужно исправить ошибку. Таргетинг на основе обмана или злоупотребления личными данными избирателей по-прежнему запрещён разделами об обманных кампаниях, слежке и приватности.
В запрет на разработку оружия прямо вписали софт и компоненты, без которых оружие не работает, в том числе системы наведения и управления, а также вооружение дронов и других автономных машин. В разделе о слежке и уголовном правосудии запрещено отслеживать людей без их согласия, в реальном времени или по ранее собранным данным, решать или рекомендовать, кого расследовать, арестовывать или обвинять, и создавать или улучшать инструменты для слежки. Разрешёнными названы отслеживание с согласия человека (например, антифрод-мониторинг), модерация контента, журналистика и юридические исследования. По словам Anthropic, оба раздела описывают то, как компания уже применяла правила на практике.
Для государственных заказчиков правила могут отличаться: в политике сказано, что для контрактов с некоторыми госклиентами ограничения можно изменить, если Anthropic сочтёт договорные ограничения и защитные меры достаточными, обращает внимание The Verge. Издание напоминает, что у компании уже были контракты с американскими военными.
Дальше
Письменных причин нет: уволенные из OpenAI ответили письмом
Три исследователя безопасности ушли из OpenAI без единой письменной причины увольнения, пишет один из них, Микита Балесни. Устно ему сказали, что он слишком много общался со сторонними организациями по безопасности.
Читайте также
- Проверяющие из METR сидят в Anthropic, а вето у неё нет
- Показания информатора Anthropic попали на видео NDTV Profit
- Модель Anthropic написала полиции ложную наводку об убийстве
- Anthropic передала полиции запись из «дневника» в Claude
- У отраслевого органа Anthropic, OpenAI и Google есть имя
- Anthropic и OpenAI обвинили в раздувании ИИ-угрозы
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

