Anthropic открыла проверку знака Claude

Скотт Ааронсон, автор, насколько ему известно, первой схемы водяных знаков для LLM, разобрал решение Anthropic маркировать тексты Claude в посте от 22 августа в своём блоге Shtetl-Optimized. Схема Anthropic построена на SynthID от Google, а та выросла из схемы на основе Gumbel Softmax, которую Ааронсон предложил в OpenAI в 2022 году. Anthropic указывает его как автора идеи, хотя статьи о ней он так и не написал: пока собирался, область, по его словам, уже усвоила схему и ушла дальше. «ИИ просто развивается для меня слишком быстро», - признаётся он.

Главное отличие от Google не в математике, а в том, кто сможет проверять знак. Anthropic обещает, что проверка будет доступна любому желающему, но в FAQ компании сказано, что API для детекции ещё в работе. Причину Ааронсон видит в регулировании: по его словам, Anthropic, судя по всему, пошла на это ради соответствия требованиям ЕС.

Сам механизм опирается на случайность, которая и так есть в генерации. Модель на каждом шаге выбирает следующий токен с некоторой долей случайности, и водяной знак заменяет часть этой случайности псевдослучайностью от генератора с секретным ключом. Генератор слегка предпочитает одни сочетания слов другим, и позже это смещение можно обнаружить статистически. Для проверки нужны только сама последовательность токенов и ключ: ни промпт, ни вероятности модели детектору не требуются. Позже Кристь, Ганн и Замир заметно улучшили схему и добились настоящей криптографической неотличимости: размеченный текст нельзя отличить от обычного без ключа. Были и другие доработки.

Интуитивно кажется, что за знак придётся платить качеством ответов. Ааронсон с 2022 года объясняет, почему это не так, а теперь отсылает к посту Цви Мовшовица «AI Text Watermarking Is Free And Good». Аргумент такой: почти любой ответ LLM и без того «был выборкой из облака экспоненциально многих вариантов, примерно одинаково хороших», так что внутри этого облака есть где маневрировать, не задевая ничего, что заметил бы обычный пользователь. Есть и возражение. Авторы работы о GumbelSoft называют главным ограничением водяного знака на трюке Gumbel-Max, который они относят к Ааронсону и Кирхнеру (2023), то, что на один и тот же промпт он всегда выдаёт одинаковый ответ. Генератор и декодер там детерминированы, и от этого, по их словам, страдают разнообразие генерации и пользовательский опыт. В качестве исправления они предлагают свой вариант, Logits-Addition, с тремя модификациями.

Путь до продакшена занял четыре года. Осенью 2022-го Ааронсон придумал схему и много рассказывал о ней на докладах, в том числе в самой Anthropic. В OpenAI схему реализовал и протестировал Хендрик Кирхнер, но руководство компании решило её не выкатывать. По словам Ааронсона, там больше всего боялись рисков для продукта: клиентам не понравится сама идея, и они уйдут к конкуренту без водяных знаков. Он рассчитывал, что эту проблему коллективных действий решит Калифорния, обязав маркировать вывод моделей, но штат ограничился аудиовизуальным контентом и почему-то исключил текст.

Google DeepMind тем временем встроила очень похожую схему в SynthID и включила её во все текстовые модели Gemini. Проверять знак Google при этом позволила очень узкому кругу. Поэтому коллегам-преподавателям, которые просят у Ааронсона способ ловить студентов на списывании с ИИ, от решения Google мало пользы. Пока он отправляет их к Pangram, одному из ведущих детекторов, который водяные знаки не использует. После шага Anthropic, по словам Ааронсона, OpenAI тоже даёт понять, что собирается последовать её примеру.

Слабое место схем такого типа, включая ту, что сейчас у Claude, - знак можно стереть, приложив немного усилий. Ааронсон перечисляет простые способы: перевести текст с английского на французский и обратно, попросить модель перемежать слова эмодзи и потом их вычистить, перефразировать вывод открытой моделью. Ещё 17 августа 2023 года в докладе в Институте Саймонса он называл устойчивость к переводу и перефразированию нерешённой задачей. Полное переписывание действительно работает: по замерам NOPE на открытых реализациях похожих схем в августе после него уцелело около 0,5% окон, по которым проверяется знак, и детектор опустился до уровня случайного угадывания.

Мовшовиц подробно объясняет, почему, несмотря на эту уязвимость, ждёт от водяных знаков чистой пользы на практике. Ааронсон добавляет, что появились работы о семантических водяных знаках, которые встраиваются на уровне векторов понятий, а не отдельных токенов. По его словам, такой подход вроде бы работает, хотя теоретических гарантий у него нет, и, возможно, сделает удаление знака заметно сложнее. Но предел у этого есть: результат о невозможности Барака и соавторов показывает, что при правдоподобных допущениях ни один метод маркировки LLM не будет полностью надёжным.

Свой пост Ааронсон закончил просьбой к читателям: «Только, пожалуйста, не пишите комментарии с помощью Claude. Если повезёт, рано или поздно я смогу вас на этом поймать».