Перейти к содержанию

Проекты сообщества

WMTrace обходится без детектора Anthropic и OpenAI

5 мин чтения

Текст написан ИИ-моделью по источникам, на которые ведут ссылки, и сверен с ними второй моделью. Как мы работаем

Изображение: github.com

Разработчик под ником gtesei 15 августа показал на Show HN WMTrace. Это открытый стенд для разбора водяных знаков в текстах LLM, и к каждому выводу он прикладывает статистику и оговорку о том, чего этот вывод не доказывает. Детектора для Claude в нём нет, хотя Anthropic как раз начала маркировать текст. В репозитории на Github прямо сказано: детекторов anthropic и openai не будет, пока не появится официальный API проверки или воспроизводимая публичная спецификация.

Все ключи в сборке взяты из опубликованных исследований. Поэтому WMTrace полезен как учебный стенд: на нём видно, как устроена схема того же семейства, что Anthropic описывает для Claude, и где у таких схем проходят пределы.

Пять детекторов

Главный из них, kgw-toy, реализует контекстный зелёный список. Схему предложили Кирхенбауэр и соавторы из Мэрилендского университета в 2023 году. Хеш от предыдущих токенов делит словарь на «зелёные» и «красные» слова, а при генерации выбор слегка смещают в сторону зелёных. В WMTrace контекст равен двум словам, а параметр γ=0,25 задаёт долю зелёных в словаре. Детектор восстанавливает разбиение на каждой позиции и считает, сколько токенов попало в зелёный список. В обычном тексте их доля держится около γ, а в размеченном заметно выше, и z-тест показывает, насколько сильно.

Остальные четыре детектора устроены проще:

  • unigram-toy - фиксированный зелёный список по ключу, без учёта контекста;
  • zero-width - нагрузка в невидимых символах Unicode, где U+200B означает 0, а U+200C означает 1, ключа нет;
  • lexical-codebook - биты, зашитые в выбор между синонимами по публичной кодовой книге;
  • unicode-inspector - поиск символов нулевой ширины, управляющих символов направления текста, нестандартных пробелов и смешения алфавитов.

Первые четыре помечены как [ILLUSTRATIVE], инспектор Unicode как [IMPLEMENTATION]. Обе схемы с ключом дотягивают максимум до оценки E3, остальные три детектора до E2.

На демонстрационном размеченном образце kgw-toy выдаёт z = 16,1 и p = 3,5e-48 с поправкой Холма. Поправка нужна, потому что wmtrace scan гоняет все детекторы сразу, и без неё хотя бы один из них рано или поздно «нашёл» бы знак случайно. К цифрам прилагается тепловая карта, где подсвечен каждый зелёный токен.

Оценка вместо процента

Привычного «97% AI» WMTrace не выдаёт. Результат приходит версионированным пакетом свидетельств с категорией от E0 до E5 и обязательной формулировкой границ вывода:

  • E0 - не поддерживается: нет нужного ключа, токенизатора или конфигурации;
  • E1 - недостаточно: вход совместим, но сигнала слишком мало;
  • E2 - эвристика: косвенный признак, канал без ключа или без калибровки;
  • E3 - свидетельство по схеме: откалиброванный результат для заявленной схемы, ключа и конфигурации;
  • E4 - привязка к провайдеру через доверенное происхождение ключа;
  • E5 - криптографическая проверка, зарезервирована под будущие адаптеры происхождения.

До E4 в этой сборке не дотягивает ни один детектор. Автор отдельно оговаривает, что оценка обозначает категорию свидетельства и не является вероятностью авторства. На коротком, однообразном или несовместимом тексте детектор заранее отвечает E0 или E1 и не гадает.

Обнаружение водяного знака, общее распознавание ИИ-текста, атрибуция модели и проверка происхождения разведены по отдельным пространствам имён в коде, API и интерфейсе, и их результаты никогда не усредняются. Каждый детектор реализует контракт из пяти методов: manifest, capabilities, score, calibrate, explain. Проверку значимости ведёт общий статистический слой. Нормализация тоже не проходит молча: в пакете указано, какое представление текста анализировали (raw, NFC или NFKC).

Почему здесь нет Claude?

Свой механизм Anthropic описывает в анонсе так. Когда модель выбирает следующее слово, вместо произвольного генератора случайных чисел выбор задают ключ и несколько предыдущих слов. Тот, у кого есть ключ, может проверить, совпадает ли последовательность слов с выбором, который сделал бы Claude, и оценить вероятность того, что текст сгенерировал Claude. Знак живёт в малозначимых развилках вроде «overcast» против «grey», которых в длинном тексте много. При этом, по словам компании, метод не толкает Claude к слову, которое тот и так не рассматривал бы, в текст ничего не добавляется, скрытых символов нет.

Отсюда понятно, что zero-width и инспектор Unicode знак Claude не увидят. Ближе всего к нему kgw-toy, но с разницей в главном: KGW именно смещает выбор к зелёным словам, а Anthropic говорит только о замене источника случайности. В основе метода Claude лежит SynthID-Text от Google DeepMind, и эталонный детектор SynthID-Text у WMTrace пока только в планах, вместе с Fast-DetectGPT, Binoculars, проверкой C2PA и адаптерами провайдеров. Как отмечает TechTimes, конкретный технический метод Anthropic не опубликовала.

Проверка по ключу Claude досталась только узкому кругу. Согласно справке Claude, детекция сейчас в закрытом превью для отобранных организаций: регуляторов, правоохранительных органов, СМИ, фактчекеров и независимых исследователей. Там же сказано, что Anthropic подписала кодекс практики по статье 50(2) европейского AI Act, ставит знаки и на вывод моделей, вышедших до 2 августа 2026 года, а раскатку на Amazon Bedrock обещает закончить к 17 октября. Файлам Claude дополнительно прикладывает Content Credentials по стандарту C2PA. Текстовый знак переживает копирование и, по формулировке справки, «может сохраниться после части правок».

Пределы у таких схем общие. На отрывках короче примерно 200 токенов сигнал не набирается до надёжных p-значений, сильный пересказ, перевод или переписывание знак размывают, а его отсутствие не значит, что текст написал человек. WMTrace выносит последнее в предупреждение в начале README: отрицательный результат не доказывает человеческого авторства, а восстановленная нагрузка не доказывает, кто её встроил.

Как запустить

Нужен Python 3.10+, лицензия Apache-2.0. После клонирования репозитория хватает pip install -e ".[dev]" и wmtrace serve, интерфейс откроется на http://127.0.0.1:8177. Параметр ?demo=1 сразу загружает размеченный образец и разбирает его, ?theme=light или ?theme=dark переключает тему. На вкладке Embed можно сгенерировать текст со смещением к зелёным словам под демонстрационным ключом или спрятать нагрузку в свой текст, а потом одним кликом отправить результат в анализатор.

Из командной строки wmtrace scan document.txt запускает все детекторы с поправкой Холма на весь прогон, а флаг --json выдаёт полные пакеты свидетельств. Одну схему проверяет wmtrace detect --scheme kgw-toy document.txt. Воспроизводимый образец даёт wmtrace embed --scheme kgw-toy --length 150 --seed 11 > marked.txt, нагрузку в невидимых символах прячет echo "Meet at the usual place." | wmtrace embed --scheme zero-width --payload Hi --ascii. Набор pytest включает 41 тест, и среди них golden-тесты, которые воспроизводят каждый пример из исследовательской спецификации в docs/RESEARCH.md.

Для проверки текста только на невидимые символы, нестандартные пробелы и подмешанные буквы другого алфавита есть wmtrace inspect document.txt. Ключ этому режиму не нужен.

Пока никто не написал. Будьте первым.

Присоединяйтесь к разговору

Войдите, чтобы оставить комментарий. Он появится после модерации.