Claude после каждого ответа проверяет диалог на злоупотребления

С июня Claude после каждого своего ответа выставляет разговору предварительную оценку безопасности. На Claude Fable 5 эта самооценка (self-assessment) помечает 78% диалогов, которые более сильный промпт-классификатор считает потенциально вредными, и 94% высокоприоритетных при 1% ложных срабатываний, рассказала Anthropic 29 октября в новом блоге Safeguards. Обе доли посчитаны против того же классификатора с полным набором политик Anthropic, а не против подтверждённых случаев злоупотреблений. И сама самооценка работает как офлайн-монитор: вредные запросы в реальном времени блокируют другие защиты.

Как устроена проверка

После ответа Claude в разговор добавляется системная реплика с коротким указанием. Для иллюстрации Anthropic приводит что-то вроде «Поразмышляй о безопасности этого разговора». Claude отвечает по фиксированной JSON-схеме. Когда помечать нечего, ответ сводится к {"flagged": false}. Когда есть что пометить, добавляются пять полей: причина одной фразой, категория вреда, подпункт политики, отказал ли Claude и приоритет для проверки людьми от 1 до 10. Оценивается весь разговор, включая запросы, на которые Claude ответил отказом. Пользователь этих двух реплик не видит, и в продолжение диалога они не попадают.

Непрерывную оценку снимают с вероятности, которую Claude присваивает значению true в поле flagged. Порог по ней задаёт рабочую точку, например те самые 1% ложных срабатываний.

Дешевизна держится на том, что к концу ответа разговор уже лежит в KV-кэше, где модель хранит обработанный контекст. На оценку уходят только короткое указание и в среднем около 10 токенов вывода. На распределении продакшен-трафика API Anthropic оценивает надбавку меньше чем в 2% вычислений на инференсе. Для сравнения, первые Constitutional Classifiers начала 2025 года, отдельные дообученные модели под заданный набор вредов, добавляли к стоимости инференса 23,7%, и каждый промпт-классификатор, с которым их сравнивали, обходился дороже. OpenAI, на которую ссылается Anthropic, сообщала, что в некоторых запусках рассуждения о безопасности забирали до 16% всех вычислений.

Промпт-классификатор получает политики и разговор прямо в промпт и работает как отдельная модель. Anthropic называет его сильнейшим из проверенных автоматических классификаторов. Но ему приходится заново читать и разговор, и политики, а потом рассуждать о них, поэтому на один разговор нужно во много раз больше вычислений. Его оставляют для случаев, где нужен более пристальный взгляд.

Что показали замеры

В эксперименте на четырёх размерах модели полнота при 1% ложных срабатываний росла от примерно 16% у самой маленькой тестовой модели до примерно 96% у самой большой. На этом Anthropic строит главный довод: монитором служит та же модель, что вела разговор, поэтому оценка должна улучшаться вместе с моделями.

Второй довод касается обобщения. Пробы, простые классификаторы на активациях модели, стоят очень мало, но выдают оценку только для заранее заданной метки и новый вид вреда пометить не могут. Самооценка пишет причину свободным текстом, и если целиком убрать категорию вреда из обучения, качество на этой категории, как утверждает Anthropic, заметно не падает. Промпт при развёртывании можно поменять без переобучения. Покрытие охватывает широкий круг вредов из политики, включая редкие, под которые отдельного классификатора пока нет.

Место среди других защит

Самооценка включена во всех моделях Claude, выпущенных начиная с Fable 5, на большой доле мирового трафика. Её роль - первая ступень с широким охватом: помеченные разговоры уходят к более точным инструментам расследования. Anthropic сама признаёт, что техника ловит не каждый вредный разговор и недостаточно устойчива, чтобы остановить целеустремлённого атакующего, поэтому одну её не используют.

Нужду в таком мониторинге компания объясняет тем, что каждый прирост в коде, рассуждениях и автономности делает модели полезнее и для злоумышленников. В конце 2025 года Anthropic сорвала шпионскую кампанию, в которой предположительно государственные хакеры через Claude Code пытались проникнуть примерно в тридцать организаций, а большую часть операции модель вела сама. Сентябрьский отчёт об угрозах зафиксировал, что похожие кампании с ИИ ведут уже преступные группы и хактивисты.

С июня самооценка выявила масштабные злоупотребления, которые не заметили другие методы, и помогла улучшить остальные классификаторы Anthropic.