Перейти к содержанию

Anthropic

Конституция Claude запрещает даже ложь из вежливости

5 мин чтения

Текст написан ИИ-моделью по источникам, на которые ведут ссылки, и сверен с ними второй моделью. Как мы работаем

Изображение: anthropic.com

Оператор вправе переименовать Claude в собственного ассистента, сузить ему темы и попросить продвигать свои продукты. Но он не может велеть Claude лгать пользователю во вред или называться человеком, когда его искренне об этом спрашивают. Так это расписано в конституции Claude, которую Anthropic опубликовала 22 января. Тем, кто строит продукт на API, важна одна деталь: под чужой персоной Claude по умолчанию не подтверждает и не опровергает, что он Claude, а раскрывает это, только если оператор прямо разрешил.

Порядок приоритетов в документе такой: безопасность, этика, правила Anthropic, полезность. При конфликте старший пункт обычно перевешивает, но решение принимается по совокупности, младшие пункты не служат лишь для разрешения ничьих. Честности Anthropic требует строже, чем принято у людей: Claude нельзя даже сказать, что подарок понравился, если он не понравился. Порядок, по тексту, нужен на случай конфликта, а в большинстве повседневных задач вроде кода, текстов и анализа конфликта нет вовсе.

Что можно оператору

В документе есть пример с персоной «Aria from TechCorp». Причины не называть поставщика модели у оператора могут быть деловыми, и Claude их уважает: на вопрос, на чём построена Aria, он не ответит ни да, ни нет. Если оператор написал, что не против раскрытия, Claude назовёт модель и разработчика, когда пользователь спросит. Прямо отрицать, что он Claude, нельзя ни при каких настройках: Anthropic считает это обманом, который может серьёзно ввести пользователя в заблуждение.

Обман ли сама персона? В Anthropic объясняют, что честность оценивается на уровне всей системы. Оператор знает, что продукт работает на Claude. А нормы того, что операторам можно и чего нельзя, Anthropic публикует, поэтому пользователь может их узнать. Под персоной Claude не отказывается от своих принципов, не сообщает ложь, которая введёт пользователя в заблуждение, не подвергает риску здоровье и безопасность людей и не идёт против правил Anthropic.

Часть умолчаний оператор может менять. По умолчанию Claude не высказывает личного мнения по острым политическим темам вроде абортов, хотя общие аргументы обсуждает. Оператор может изменить и это, в пределах остальных ограничений документа. Учитывает Claude и то, где его запустили: в потребительских продуктах он осторожнее, чем в API без системного промпта, потому что там с ним могут говорить уязвимые люди.

Раздел о том, насколько Claude доверяет Anthropic, операторам и пользователям и как решает конфликты между ними, на странице свёрнут по умолчанию. Anthropic объясняет это тем, что большинству читателей он будет менее интересен. Так же свёрнуты разделы о роли намерений и контекста и об «instructable behaviors», поведении, которое операторы и пользователи могут включать сами.

Когда Claude отказывает

«Бесполезность никогда не бывает тривиально „безопасной“», - говорится в документе. Риск чрезмерной осторожности Anthropic называет таким же реальным, как риск вреда. Для проверки предлагается представить вдумчивого старшего сотрудника Anthropic. Ему не понравится, если Claude отказывает в разумной просьбе из-за маловероятного вреда, обвешивает ответ лишними предупреждениями, молча выдаёт урезанную версию задачи или в простых агентных задачах переспрашивает чаще, чем нужно. Слушаться настоящих сотрудников компании Claude из-за этой эвристики не должен. Вторая проверка - «двойной газетный тест»: не попадёт ли ответ в статью о вредных ИИ-ассистентах и не попадёт ли в статью о занудных и назидательных.

Для кода в тексте есть свои примеры. Исправляя один баг, Claude указывает на другие, которые заметил, но не обязательно их чинит. Он не переходит на другой язык программирования. Если просят исправить баг способом, с которым он не согласен, он высказывает сомнения и делает так, как просили. На просьбу «сделай, чтобы тесты не падали» без общего решения Claude должен сказать об этом прямо, а не подгонять код под конкретные тесты, если ему не сказали, что цель только в зелёных тестах.

Если Claude берётся за задачу, он делает её в полную силу или прямо говорит, в чём не помогает. Тайно занижать качество ответа, выдавая его за лучший возможный, нельзя. Причину отказа объяснять не обязательно. Anthropic называет эту позицию «прозрачным отказником по убеждениям». Рассуждения перед ответом norm честности касаются меньше, это черновик, но итоговое поведение не должно им противоречить.

Семь запретов

Жёстких ограничений семь, от серьёзной помощи в создании биологического, химического, ядерного и радиологического оружия до CSAM. Среди них есть пункт, напрямую касающийся разработчиков: Claude не создаёт кибероружие и вредоносный код, способный нанести значительный ущерб. Эти ограничения не снимает ни оператор, ни пользователь. Убедительный довод в пользу нарушения должен, по тексту, только усилить подозрение Claude, что происходит что-то не то. Срабатывают они в очевидных случаях, когда Claude действует сознательно или считает нарушение весьма вероятным. Неясные случаи решаются общим взвешиванием, а у отказа, хоть он и всегда совместим с запретами, есть своя цена.

Запреты ограничивают собственные действия Claude и не ставят ему цели. Поэтому Claude не должен подрывать человеческий надзор даже ради того, чтобы помешать кому-то другому провести куда более опасную атаку биологическим оружием. Эту цену Anthropic принимает ради предсказуемости.

Надзор стоит на первом месте, потому что обучение далеко от совершенства и очередная версия Claude может получить вредные ценности, а люди должны успеть это заметить и исправить. Слепого послушания документ не требует, в том числе по отношению к Anthropic: помогать незаконной концентрации власти Claude должен отказываться, даже если об этом просит сама компания. Тот же риск Anthropic описывала в сентябре инвесторам: в проспекте к IPO сказано, что модели могут «сопротивляться отключению».

Уточнения и версии

Поверх конституции Anthropic может давать Claude более конкретные правила: где проводить границу в медицинских и юридических советах, как разбирать неоднозначные запросы по кибербезопасности, как работать с инструментами и агентными сценариями. Часть таких правил выйдет приложениями к документу, а более узкие будут применяться в основном при обучении, без широкой публикации. Противоречить конституции они не должны. Если противоречие обнаружится, Anthropic обещает исправить саму конституцию.

Документ признаёт, что местами может оказаться неясным, недоопределённым и даже противоречивым. Тогда Claude следует его духу. Первая версия 2023 года, как отмечают в Bloomsbury Intelligence & Security Institute, опиралась в том числе на условия использования Apple и Всеобщую декларацию прав человека. Новая объясняет причины правил, и Claude, по замыслу Anthropic, должен понимать ситуацию настолько хорошо, чтобы сам мог вывести любое правило, которое придумала бы компания.

Текущая версия датирована январём 2026 года и лежит в репозитории на GitHub под лицензией CC0 1.0. Прежние версии по мере правок будут сохраняться там же.

Пока никто не написал. Будьте первым.

Присоединяйтесь к разговору

Войдите, чтобы оставить комментарий. Он появится после модерации.