Смена обвязки удвоила счёт при той же точности

Обвязка кодового агента, слой с инструментами и управлением контекстом поверх модели, почти не влияет на долю решённых задач, зато вдвое меняет счёт за GPU. Команда aistack (imec) прогнала Claude Code, Codex и Pi на 64 задачах из SWE-Bench Pro на двух моделях.

Все шесть комбинаций уложились в 44–53% решённых задач. Полный прогон на GLM-5.3-Flash (4×H200) через Codex стоил 22,8 доллара, через Claude Code и Pi по 45 долларов. Разницу дало реальное время работы GPU: Claude Code прокачивает заметно больше входного контекста, а решённых задач у него не прибавляется.

Воркеры Pi уходили в бесконечный цикл и генерировали повторяющийся мусор, поэтому их замеры авторы усреднили по чистым прогонам. В версии Claude Code 2.1.233 сломалось кеширование префикса, средняя доля попаданий упала до 29,84% против 97,36% на исправленном релизе.