Перейти к содержанию

Anthropic

Разбор токенизатора Claude: слова в маркерах ^ и $

5 мин чтения

Текст написан ИИ-моделью по источникам, на которые ведут ссылки, и сверен с ними второй моделью. Как мы работаем

Всё о теме: Цены и лимиты Claude →
Изображение: tokencontributions.substack.com

Независимый исследователь 13 августа опубликовал реконструкцию токенизатора Claude. Его вывод: Anthropic не использует обычный байтовый BPE, как остальные лаборатории. Текст режется по принципу минимального числа кусков, слова обёрнуты в невидимые маркеры границ, а заглавные буквы кодируются отдельным маркером.

Подробности автор изложил в разборе на Substack, код реконструкции лежит в репозитории sanderland/ctok. Официальных данных у него нет. Все выводы он вывел из того, сколько токенов Claude насчитывает на разных строках, и сам называет их отчасти спекулятивными.

Поводом для работы автор называет недавний рост стоимости простого английского текста более чем на 40%. В документации Anthropic, которую собрал Developers Digest, оценка ниже: новый токенизатор появился в Opus 4.7 и «может использовать до 35% больше токенов» на тот же текст. Руководство по миграции советает заложить запас в max_tokens и в триггерах компактизации. Цена за токен при этом не изменилась: у Opus 4.8 те же 5 долларов за миллион входных и 25 за миллион выходных, что у Opus 4.6. В обзоре моделей миллион токенов приравнен примерно к 555 тысячам слов для Opus 4.7 и 4.8 и к 750 тысячам для Opus 4.6 и Sonnet 4.6. Получается, что на то же количество слов у новых моделей уходит примерно на 35% больше токенов. Позже, 11 октября, на странице цен формулировку поменяли на «примерно на 30% больше», и потолок в 35% оттуда исчез.

Почему это не BPE, автор показывает на корейском слоге 최 (чхве). В парном BPE каждый небазовый токен собран слиянием двух меньших токенов словаря. Значит, у однотокенного фрагмента всегда найдётся разбиение на две части, каждая из которых тоже токен, и это проверяется подсчётом. 최 считается одним токеном, что неудивительно для частой фамилии. В UTF-8 этот слог занимает три байта. Но его двухбайтовые начало и конец токенами нигде больше не встречаются: другие слоги с тем же префиксом или суффиксом стоят по 3 токена, по одному на байт. Счёт токенов стабильно описывает только одна схема, разбиение на минимальное число кусков из словаря, как в MinGram и PathPiece. В такой схеме токенизатор не повторяет историю слияний, а просто ищет самый короткий путь через словарь.

Размер словаря автор оценивает по уже найденным токенам: около 49-55 тысяч для версий с v3 по v4.6 и всего 16-20 тысяч для более поздних. Вероятно, меньший словарь и заставляет новый токенизатор резать тот же текст на большее число кусков.

Главная особенность схемы - маркеры начала и конца слова, у автора они обозначены ^ и $. Слово «tokenizers» превращается в [^token][izers$]. Маркер может входить в токен или стоять отдельно, поэтому запись о том, что строка «одного токена», зависит от контекста. «semiconduct» стоит два токена ([^semiconduct][$]), «usercontent» тоже два ([^][usercontent$]), «romagnet» три ([^][romagnet][$]). Склеенная строка «semiconductromagnetusercontent» при этом укладывается ровно в три токена. «telecommunications» целиком один токен, а «telecommunicationsy» уже четыре: [^telecommun][ic][ation][sy$].

Автор поправляет и собственный предыдущий вывод о том, что большинство токенов Claude - целые слова. На деле он измерял, есть ли в словаре форма слова вместе с обоими маркерами, ^word$.

Маркеры на первый взгляд тратят место в словаре. Зато пропадает нужда держать два варианта каждого слова, с пробелом перед ним и без. По гипотезе автора, пробел в последовательности «$ пробел ^» вырезается до кодирования, а при декодировании пара $^ снова превращается в пробел. Так что многие пробелы в коде и обычном тексте достаются бесплатно, и обучающие данные модели не делятся между вариантами слова с пробелом и без. Последовательности знаков препинания тоже получают маркер, но только с той стороны, где они граничат с пробелом: в «a== b» знаки становятся ==$.

Похожим образом устроен регистр. Слово с заглавной первой буквой кодируется маркером ↑ и строчной формой, слово целиком заглавными - маркером ⇪: «Token» становится «↑ token», «NASA» - «⇪ nasa». Правило действует только для целого фрагмента, поэтому GaN и WiFi идут как есть. MERCHANTABILITY занимает один токен [⇪^merchantability$], но лишняя строчная «q» в конце ломает и маркер регистра, и маркеры слова: получается 15 токенов, от [^M][ER][C][H] до [Y][q$]. В токенизаторе v4.7+ эту часть сильно упростили и убрали маркер caps lock.

Остальные находки мельче, но некоторые полезны для подсчёта затрат:

  • Отдельными токенами записаны серии пробелов, переводов строки и табуляций. Токенами оказались 1-30, 32, 33, 40, 48, 64, 98 и 128 переводов строки подряд, а 31 почему-то нет.
  • У каждого запроса есть фиксированная надбавка в 7-8 токенов: «a» стоит 8, одна цифра 9. Автор связывает это с обвязкой чата, которая начинается с ^ и заканчивается на \n\n, плюс неизвестное содержимое. Начальный ^ сильно путает попытки выяснить, что токен, а что нет.
  • Иероглифы, корейский, эмодзи и многие редкие письменности маркеров слов не получают и всегда режутся по одному символу.
  • Символы без собственного токена раскладываются на байты UTF-8, но только внутри символа и строго по префиксу, примерно как предлагается в SCRIPT-BPE.
  • Числа делятся на группы по три цифры.
  • Текст нормализуется в NFC с заменой части символов, в ранней версии в том числе кавычек-«лапок».

У реконструкции есть ограничения, и автор их называет. В языках с большим числом маркеров, например в деванагари, расхождение с реальным счётом достигает 10%. Больше всего сил ушло на старую версию, и на v4.7+ ошибки немного выше.

Помимо ранней работы @sasuke___420, основным материалом автору послужили потоки токенов, которые Anthropic сама опубликовала в исследовании On the Biology of a Large Language Model и в материалах по Fable 5. Оттуда же взяты три примера с маркером регистра, а название исследования автор позаимствовал для заголовка своего разбора.

AI-индустрияОткрытые модели

Агентная обвязка DeepSeek открыта под лицензией MIT

Больше 33 000 звёзд на GitHub за несколько часов собрала агентная обвязка DeepSeek Harness. Заменяемым в ней сделали любой компонент, включая адаптер модели и сам цикл агента, а код открыли под лицензией MIT.

Пока никто не написал. Будьте первым.

Присоединяйтесь к разговору

Войдите, чтобы оставить комментарий. Он появится после модерации.