ctok считает токены Claude офлайн, без обращения к API

Неофициальный пакет ctok, который 15 августа появился на GitHub, считает токены Claude локально: без обращения к API, без сети и без зависимостей во время выполнения. Строка «hello, world» стоит в нём 10 токенов у моделей от Claude 3 до Opus 4.6, 15 у Opus 4.7 и снова 10 у Opus 5.
Пакет ставится командой pip install ctok и распространяется под лицензией MIT. С Anthropic проект не связан. В основе лежит исследование «On the biology of Claude's tokenizer».
Восстанавливается именно количество токенов. Claude не показывает, где проходят границы между токенами, поэтому tokenize() возвращает одно из допустимых разбиений минимальной стоимости, и как текст режет сама Anthropic, оно не утверждает. Количество при этом определено однозначно: token_count(text) равен len(tokenize(text)).
Для одного пользовательского сообщения ctok проходит четыре шага. Сначала нормализует текст: приводит Unicode к форме NFC и заменяет кавычки по правилам конкретного семейства. Затем переписывает текст в поток с маркерами границ слов, регистра и байтов. Дальше ищет самое дешёвое покрытие этого потока кусками из измеренного словаря, а для того, что в словарь не попало, откатывается на отдельные байты UTF-8. В конце добавляет измеренную рамку сообщения.
Маркеры видны прямо в выводе. ⟨bow⟩ и ⟨eow⟩ отмечают начало и конец слова, ⟨shift⟩ и ⟨caps⟩ переписывают регистр, ⟨0xNN⟩ означает токен байтового отката, а ⟨pad⟩ относится к рамке. Команда ctok "hello, world" печатает размеченный поток и его разбиение. На v3 «hello, world» раскладывается на 3 токена содержимого и 7 токенов рамки. Слова в маркерах начала и конца описывал и независимый разбор токенизатора, автор которого в августе писал, что простой английский текст подорожал по токенам более чем на 40%.
Семейств три, версия передаётся строкой:
- v3, по умолчанию: от «3.0» до «4.7» не включительно, модели от Claude 3 до Opus 4.6;
- v4.7: от «4.7» до «5.0» не включительно, Opus 4.7-4.9;
- v5: «5.0» и выше, Opus 5 и Sonnet 5.
v5 работает на словаре v4.7, но оформляет сообщение в другую рамку. Компоненты версии сравниваются как целые числа, так что «4.10» идёт после «4.9». Python читает литерал 4.10 как число 4.1, поэтому версия, переданная не строкой, вызывает TypeError.
Точность ctok проверяли на записанных ответах эндпоинта count_tokens. На v3 и v4.7 результаты совпали во всех наборах: 350 000 строк Goldfish на 350 языках, 22 языка программирования из MultiPL-E, 1 741 документ Rosetta Code, отдельная выборка Rosetta Code из 250 документов и Всеобщая декларация прав человека на 501 языке. При этом Goldfish, основная выборка Rosetta и декларация участвовали в подборе кусков словаря, а декларация входит в эту выборку с 12 августа. MultiPL-E и отдельная выборка Rosetta в подборе не участвовали.
Отдельной строки для v5 в таблице нет: расхождения с записанными счётчиками у v5 на всех проверенных документах такие же, как у v4.7, а правила рамки покрывают отдельные тесты против API. Публичные проверки запускаются командами uv run pytest и uv run python tests/gates.py.
В сохранённых наборах измерений нет ни одного занижения: 0 из 1 664 940 текстов на v3 и 0 из 1 722 961 на v4.7. Для произвольного ввода это не гарантировано, оговаривается автор.
Словари двух семейств заметно различаются: 48 645 кусков у v3 и 15 240 у v4.7. На каждую запись есть фиксированный свидетель принадлежности, иначе это один из структурных маркеров, которые проверяет тестовый набор. Свидетеля можно запросить напрямую: witness("⟨bow⟩the⟨eow⟩", "4.7") возвращает {'probe': 'the', 'raw': 12, 'kind': 'raw'}. Свидетель показывает, что один размеченный кусок обходится в один токен в откалиброванной пробе. Правильность переписывания текста энкодером он не доказывает и не выбирает между разбиениями одинаковой стоимости.
tests/test_witness.py проверяет каждого опубликованного свидетеля и требует, чтобы каждая запись словаря либо имела свидетеля, либо относилась к служебным.
Дальше
Правки Claude для нестабильных тестов сработали не сразу
1360 интеграционных тестов после параллельного запуска идут примерно 4 минуты вместо примерно 40, зато появились нестабильные падения: первые правки Claude звучали правдоподобно и ничего не меняли.
Читайте также
- Разбор токенизатора Claude: слова в маркерах ^ и $
- claude-api-guard ловит ломающие изменения API в CI
- Claude в Linear и Ramp можно оплачивать без API-ключа
- Tokendoctor обещает тот же Claude Code до 38% дешевле
- Ответ телеметрии в 27 байт вешает Claude Desktop на Linux
- Память и навыки Claude Code получили git-историю в memsaga
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

