Разбор токенизатора Claude: слова в маркерах ^ и $

Независимый исследователь 13 августа опубликовал реконструкцию токенизатора Claude. Его вывод: Anthropic не использует обычный байтовый BPE, как остальные лаборатории. Текст режется по принципу минимального числа кусков, слова обёрнуты в невидимые маркеры границ, а заглавные буквы кодируются отдельным маркером.
Подробности автор изложил в разборе на Substack, код реконструкции лежит в репозитории sanderland/ctok. Официальных данных у него нет. Все выводы он вывел из того, сколько токенов Claude насчитывает на разных строках, и сам называет их отчасти спекулятивными.
Поводом для работы автор называет недавний рост стоимости простого английского текста более чем на 40%. В документации Anthropic, которую собрал Developers Digest, оценка ниже: новый токенизатор появился в Opus 4.7 и «может использовать до 35% больше токенов» на тот же текст. Руководство по миграции советает заложить запас в max_tokens и в триггерах компактизации. Цена за токен при этом не изменилась: у Opus 4.8 те же 5 долларов за миллион входных и 25 за миллион выходных, что у Opus 4.6. В обзоре моделей миллион токенов приравнен примерно к 555 тысячам слов для Opus 4.7 и 4.8 и к 750 тысячам для Opus 4.6 и Sonnet 4.6. Получается, что на то же количество слов у новых моделей уходит примерно на 35% больше токенов. Позже, 11 октября, на странице цен формулировку поменяли на «примерно на 30% больше», и потолок в 35% оттуда исчез.
Почему это не BPE, автор показывает на корейском слоге 최 (чхве). В парном BPE каждый небазовый токен собран слиянием двух меньших токенов словаря. Значит, у однотокенного фрагмента всегда найдётся разбиение на две части, каждая из которых тоже токен, и это проверяется подсчётом. 최 считается одним токеном, что неудивительно для частой фамилии. В UTF-8 этот слог занимает три байта. Но его двухбайтовые начало и конец токенами нигде больше не встречаются: другие слоги с тем же префиксом или суффиксом стоят по 3 токена, по одному на байт. Счёт токенов стабильно описывает только одна схема, разбиение на минимальное число кусков из словаря, как в MinGram и PathPiece. В такой схеме токенизатор не повторяет историю слияний, а просто ищет самый короткий путь через словарь.
Размер словаря автор оценивает по уже найденным токенам: около 49-55 тысяч для версий с v3 по v4.6 и всего 16-20 тысяч для более поздних. Вероятно, меньший словарь и заставляет новый токенизатор резать тот же текст на большее число кусков.
Главная особенность схемы - маркеры начала и конца слова, у автора они обозначены ^ и $. Слово «tokenizers» превращается в [^token][izers$]. Маркер может входить в токен или стоять отдельно, поэтому запись о том, что строка «одного токена», зависит от контекста. «semiconduct» стоит два токена ([^semiconduct][$]), «usercontent» тоже два ([^][usercontent$]), «romagnet» три ([^][romagnet][$]). Склеенная строка «semiconductromagnetusercontent» при этом укладывается ровно в три токена. «telecommunications» целиком один токен, а «telecommunicationsy» уже четыре: [^telecommun][ic][ation][sy$].
Автор поправляет и собственный предыдущий вывод о том, что большинство токенов Claude - целые слова. На деле он измерял, есть ли в словаре форма слова вместе с обоими маркерами, ^word$.
Маркеры на первый взгляд тратят место в словаре. Зато пропадает нужда держать два варианта каждого слова, с пробелом перед ним и без. По гипотезе автора, пробел в последовательности «$ пробел ^» вырезается до кодирования, а при декодировании пара $^ снова превращается в пробел. Так что многие пробелы в коде и обычном тексте достаются бесплатно, и обучающие данные модели не делятся между вариантами слова с пробелом и без. Последовательности знаков препинания тоже получают маркер, но только с той стороны, где они граничат с пробелом: в «a== b» знаки становятся ==$.
Похожим образом устроен регистр. Слово с заглавной первой буквой кодируется маркером ↑ и строчной формой, слово целиком заглавными - маркером ⇪: «Token» становится «↑ token», «NASA» - «⇪ nasa». Правило действует только для целого фрагмента, поэтому GaN и WiFi идут как есть. MERCHANTABILITY занимает один токен [⇪^merchantability$], но лишняя строчная «q» в конце ломает и маркер регистра, и маркеры слова: получается 15 токенов, от [^M][ER][C][H] до [Y][q$]. В токенизаторе v4.7+ эту часть сильно упростили и убрали маркер caps lock.
Остальные находки мельче, но некоторые полезны для подсчёта затрат:
- Отдельными токенами записаны серии пробелов, переводов строки и табуляций. Токенами оказались 1-30, 32, 33, 40, 48, 64, 98 и 128 переводов строки подряд, а 31 почему-то нет.
- У каждого запроса есть фиксированная надбавка в 7-8 токенов: «a» стоит 8, одна цифра 9. Автор связывает это с обвязкой чата, которая начинается с ^ и заканчивается на \n\n, плюс неизвестное содержимое. Начальный ^ сильно путает попытки выяснить, что токен, а что нет.
- Иероглифы, корейский, эмодзи и многие редкие письменности маркеров слов не получают и всегда режутся по одному символу.
- Символы без собственного токена раскладываются на байты UTF-8, но только внутри символа и строго по префиксу, примерно как предлагается в SCRIPT-BPE.
- Числа делятся на группы по три цифры.
- Текст нормализуется в NFC с заменой части символов, в ранней версии в том числе кавычек-«лапок».
У реконструкции есть ограничения, и автор их называет. В языках с большим числом маркеров, например в деванагари, расхождение с реальным счётом достигает 10%. Больше всего сил ушло на старую версию, и на v4.7+ ошибки немного выше.
Помимо ранней работы @sasuke___420, основным материалом автору послужили потоки токенов, которые Anthropic сама опубликовала в исследовании On the Biology of a Large Language Model и в материалах по Fable 5. Оттуда же взяты три примера с маркером регистра, а название исследования автор позаимствовал для заголовка своего разбора.
Дальше
Агентная обвязка DeepSeek открыта под лицензией MIT
Больше 33 000 звёзд на GitHub за несколько часов собрала агентная обвязка DeepSeek Harness. Заменяемым в ней сделали любой компонент, включая адаптер модели и сам цикл агента, а код открыли под лицензией MIT.
Читайте также
- Starting today, 10,000 scientists across every field, from math to chemistry to physics and more, can get Claude thro…
- Claude в Linear и Ramp можно оплачивать без API-ключа
- OpenAI раздаст учёным бесплатный ChatGPT Plus
- Fable 5.2 решил тесты как Opus 5.5, но почти вчетверо дороже
- Anthropic купила биотех из одного сотрудника
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

