Аудит сессии Claude: 7,5 млн токенов и 4038 вызовов

Автор Kurrent разобрал одну сессию кодинга с Claude на 241 ход: 7,5 млн токенов, 4038 вызовов инструментов и день с пятью часами по стене. Результат приняли, шесть фаз плана выполнены с TDD и ревью, тесты оценены на 5 из 5.
Потери показал инструмент Capacitor от Kurrent, который писал транскрипт и прогнал его по рубрике из четырёх осей. Эффективность получила 3 из 5 с указанием ходов. На ходах 7–12 Claude уверенно назвал только хуки PreToolUse и PostToolUse, а после возражения нашёл полный жизненный цикл со Stop. На ходах 130–171 фичу построили на непроверенном допущении, десятиминутный аудит реальных транскриптов позже показал, что нужный сигнал был на месте, и всё пришлось переделать.
Каждую рекомендацию вида «try next time» Capacitor привязывает к номеру хода.
Дальше
OpenAI автоматизировала red teaming через self-play
GPT-Red взламывает прежние модели OpenAI инъекциями промптов, и делает это стабильно. По данным openai.com, система сама учится атаковать через self-play, чтобы находить дыры в безопасности до людей.
Читайте также
- Claude Code шлёт 33k токенов до чтения промпта, у OpenCode 7k
- Claude Code и две бесплатные модели не сошлись на Next.js
- Тот же результат, вдвое дороже: Claude Code против Codex
- Четыре модели Claude в связке дали 78% на Terminal-Bench
- Claude Code принёс адоптерам на 24% больше смерженных PR
- Microsoft обещает в MAI Code 2 почти Opus за 5% цены
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

