Жёсткие правила памяти мешают Opus 5, а «сон» чинит заметки

Sonnet 4.6 почти вдвое поднял результат на бенчмарке CL-Bench 1.0, когда его попросили читать файлы памяти перед ответом и проверять собственные гипотезы, рассказала Anthropic в инженерном посте от 6 ноября о том, как Claude учится на опыте. С Opus 5 и Opus 4.7 всё наоборот: правило «записывай только ошибки» отнимает у них большую часть прироста от памяти, а для заметного роста этим моделям хватало одной инструкции о том, что папка памяти доступна.

В CL-Bench 1.0 агент отвечает на серию вопросов, ища данные в базе. После каждого ответа ему называют правильное решение, и он может оставить себе заметку на будущее. Anthropic запускала задачу в Claude Managed Agents: каждый вопрос начинался в новой сессии, и из прошлого у Claude была только папка с файлами памяти, которая переживала смену сессий. Памятью в посте называют именно такие сохранённые между сессиями заметки. Дообучение весов, знания внутри одного разговора и compaction, где Claude заменяет старые реплики собственной сводкой, сюда не входят. В API ту же схему реализует memory tool: Claude создаёт, читает, правит и удаляет файлы в каталоге памяти, а хранилище остаётся на стороне разработчика.

Свобода или правила

Opus 4.7 и Opus 5 получили заметный прирост от памяти при одной базовой инструкции. Затем Anthropic добавляла по одному конкретному правилу о том, что записывать, и сравнивала прирост от памяти с правилом и без него. С правилом «записывай только ошибки» обе модели растеряли большую часть этого прироста. По оценке Anthropic, сильным моделям свобода самим решать, что важно, даёт больше, чем заранее заданные правила, а такие правила могут и ухудшить результат.

Подсказки больше всего помогали старым моделям. Sonnet 4.6 часто не открывал папку памяти и не проверял свои догадки о том, почему ответ оказался неверным: без подсказки он читал память перед ответом реже чем в половине случаев. Просьба сначала прочитать файлы памяти, а потом явно проверить гипотезы и дала ему почти двукратный рост. Sonnet 5 делает это сам и без подсказки заглядывает в память перед ответом в 9 случаях из 10.

Для фронтирных моделей Anthropic обычно ограничивается простой инструкцией: заводить заметку, когда человек об этом просит или когда что-то явно стоит запомнить. Остальное решает Claude.

Разница видна и по самим заметкам. У Sonnet 4.6 в папке лежал разрозненный набор файлов, в каждом по несколько непроверенных догадок. Opus 5 первым из протестированных моделей замкнул цикл обучения: в большинстве его записей есть правило вместе с тем, откуда известно, что оно верно, ответы на прошлые вопросы и предупреждения о найденных ловушках. Opus 5.5 и Sonnet 5.5 тоже замыкают цикл. С памятью они набирают примерно столько же, сколько Opus 5, хотя без неё результат у них чуть выше.

Что стоит записывать

Второй тест - Pokémon Red. Anthropic сравнила папки памяти Sonnet 3.7 и Fable 5, по одному прогону каждой модели, примерно на 10 000-м шаге игры. Sonnet 3.7 записывал всё подряд, часто заводя отдельный файл на каждый бой, найденный предмет и встреченного персонажа: 413 файлов в 225 папках и один значок. Fable 5 обошёлся девятью файлами в двух папках плюс файлом global.md на верхнем уровне и взял четыре значка.

Около 10 000-го шага Sonnet 3.7 завёл уже четвёртую папку «мастер»-файлов памяти. За следующие 17 шагов он создал шесть файлов, удалил девять и не сделал в игре ни одного действия.

Деньги игрока и его место на карте видны на экране каждый ход, так что хранить их незачем, а состояние игры меняется постоянно, и подробный архив Sonnet 3.7 всё время устаревал. Fable 5 записывал то, чего игра сама не сообщает: стратегии, планы и проверенные правила. global.md служил ему панелью с текущей целью, заранее расписанным планом прохождения гимов, где выдают значки, и собственными правилами работы с памятью. После семи подряд неудачных бросков покебола в Magikarp, одного из самых лёгких для поимки покемонов, он записал: «Если 3+ мяча подряд не сработали, МЕНЯЙ тайминг (вставляй лишние нажатия „wait“ между шагами меню) - поимка удалась сразу после этого».

Opus 5.5 поступал так же: держал небольшую папку заметок с текущей целью и следующими шагами, переписывал её по ходу игры и прошёл игру до конца.

Как «сон» чинит заметки

Раз Claude решает, что записать, посреди сессии, ошибочная с самого начала или устаревшая заметка в следующей сессии будет прочитана и принята на веру. Для таких случаев Anthropic использует dreaming, «сон»: в паузах между сессиями модель перечитывает логи и транскрипты, исправляет заметки и пишет новые. Идея идёт от sleep-time compute, который предложили исследователи Letta и UC Berkeley: тратить простой между запросами на то, чтобы переупорядочить уже накопленный контекст. Во «сне» Claude также строит новые представления для навигации по памяти, например вики.

Пример тоже из Pokémon, прогон в Managed Agents с подключённой папкой памяти. Mt. Moon - пещера со входом на западе и выходом на востоке, а возле входа есть уступ, с которого игрок падает обратно на пройденный маршрут без понятного пути наверх. Claude ориентировался по PokéCenter у входа и ошибочно записал, что тот стоит на восточной стороне. Выйдя из него, он объявил «Mt Moon позади меня», отметил в заметках «Mt Moon ГОТОВО» и через несколько действий свалился с уступа. Навигационный инструмент обрыв не показывал, и Claude решил, что «сильно проскочил на запад», а значит, всё время был на правильной стороне.

С неисправленной заметкой Claude падал с уступа трижды. После третьего раза он написал: «Я лучше остановлюсь, чем буду дальше ходить по кругу». Автоответ среды велел продолжать, и Claude ушёл назад в Pewter City, город перед горой, чтобы подлечиться и пополнить запасы. До Cerulean City этот прогон так и не дошёл.

Затем Anthropic запустила «сон» на папке с той же неверной заметкой. Claude сверил запись с транскриптом сессии, нашёл ошибку и переписал её. С исправленной заметкой он сразу вернулся в Mt. Moon и в итоге добрался до Cerulean City.