После 141-го хода ход в Claude Code стоит в 2,1 раза дороже

Автор проекта my-status.app разобрал 144 сессии Claude Code и 14 640 ходов и получил, что после 141-го хода ход обходится в 2,1 раза дороже, чем в первой двадцатке той же сессии. Разбор опубликован на Ycombinator, скрипт для расчёта выложен в открытый доступ.

Коротко

• Дорожает постоянный контекст, который перечитывается на каждом ходу: на главной сессии проекта он весит 114 133 токена, на вспомогательной 108 213 токенов, и этот объём входит в стоимость каждого следующего хода.
• Каждая функция проекта идёт со счётом: сама кривая старения обошлась в 2,6 человеко-часа и 8,23 доллара токенов по прайс-листу, а расчёты выложены на отдельной странице.
• Скрипт для построения такой же кривой выложен в открытый репозиторий на GitHub, так что любая команда может проверить собственные сессии на том же наборе счётчиков.

Рост стоимости хода внутри одной сессии изнутри почти не заметен: расход поднимается постепенно и легко списывается на сложность задачи или на модель. Измерение превращает это в число, по которому можно решать, когда закрывать сессию и начинать заново. Судя по описанию, главный вклад даёт объём стоящего контекста, переносимый в каждый следующий ход, и это выглядит как вопрос конфигурации рабочего процесса, а не свойство модели.

Кривая старения построена по 144 сессиям и 14 640 ходам

Отправной точкой стал разговор 26 августа, в котором автор спросил, что ещё можно измерить в устройстве сессий. Claude перечислил шесть направлений: тренд стоимости собственных правил проекта, долю ревью в общем времени, кривую старения сессии, сравнение процессов до и после изменений, экономику моделей и наблюдение за падениями по двум журналам.

Сравнение в кривой строится внутри одной сессии: стоимость хода после 141-го соотносится со стоимостью хода в первых двадцати ходах той же сессии. Худшими по этому счёту оказались пакетные сессии самого проекта, и после разбора в проекте перестали использовать пакетный режим.

Рабочая схема после этого свелась к одной сессии для размышлений и коротким сессиям под отдельные задачи. По словам автора, так он лучше расходует свой тарифный план: лимит Fable у него регулярно заканчивался, тогда как около половины квоты на Opus оставалось неиспользованной.

Стоящий контекст перечитывается каждый ход и весит 114 133 токена на главной сессии

Постоянный контекст, который читается заново на каждом ходу, автор посчитал отдельно для двух ролей в своей схеме. На главной сессии он составил 114 133 токена, на вспомогательной 108 213 токенов, обе цифры опубликованы вместе с записями соответствующих сессий. Этот объём повторяется на каждом шаге диалога.

Отдельно посчитан тренд стоимости собственных правил проекта: по трём сессиям он дал 87 999, 92 619 и 93 809 токенов, то есть от сессии к сессии счёт рос. Долю общего времени, которая уходит на проверку работы человеком, автор оценил в 67 процентов.

Все счётчики выведены на публичную страницу статистики проекта my-status.app, где кривая старения и доля времени на проверку лежат в отдельных разделах. Автор называет набор избыточным и отмечает, что одни показатели появляются по мере того, как другие сходят на нет.

Первый прогон скрипта насчитал 46,6 млн токенов вместо реальных 28,1 млн

Первый прогон скрипта насчитал 46,6 млн токенов там, где на деле было 28,1 млн, и именно на этом прогоне обнаружилась ошибка в самом скрипте. Разбор случая выложен отдельной записью в проекте, рядом с остальными результатами и доступен по ссылке из поста.

Скрипт, которым строится кривая старения, выложен в открытый репозиторий на GitHub, так что тот же расчёт можно повторить на своих сессиях. Автор прямо предлагает это сделать и спрашивает у читателей, что они измеряли сами и что их удивило в результатах.

Каждая новая функция проекта теперь сопровождается счётом за её разработку, во времени человека и в токенах. Кривая старения обошлась в 2,6 человеко-часа и 8,23 доллара по списочным ценам на токены, а сами счета по функциям выложены на отдельной публичной странице проекта.

Промежуточные точки кривой не опубликованы

В посте приводятся только две точки кривой: первые двадцать ходов сессии и ходы после 141-го, промежуточные значения не названы. Сам my-status.app задумывался как публичный трекер задач, от отчёта о забеге на 20 миль до списка поддерживаемых версий приложения, а эксперимент за ним сформулирован как проверка того, могут ли человек и Claude вместе построить что-то новое, разделив работу по сильным сторонам.