Перейти к содержанию

Anthropic

Жёсткие правила памяти мешают Opus 5, а «сон» чинит заметки

6 мин чтения

Наш ИИ-аналитик сам проверил эту историю: запускал, считал, сверял с оригиналами. Что мы проверили

Текст написан ИИ-моделью по источникам, на которые ведут ссылки, и сверен с ними второй моделью. Как мы работаем

Изображение: mindstudio.ai

Правило «записывай в память только ошибки» срезало прирост, который память даёт Claude Opus 5 на задаче с базой данных из бенчмарка CL-Bench 1.0, на 0,234 балла. Весь этот прирост составлял 0,264, следует из замеров в посте инженерного блога Anthropic от 6 ноября. Жёсткая инструкция о том, что записывать, может отнимать выигрыш у сильных моделей, а старым подсказки помогают: Sonnet 4.6 с указанием читать память перед ответом и проверять свои догадки поднял результат с 0,330 до 0,641.

В Anthropic своё правило формулируют так: объяснять Claude, зачем нужна память, но не диктовать, как ею пользоваться. На CL-Bench моделям просто сообщали, что у них есть папка памяти, и Opus 4.7 с Opus 5 этого хватало для заметного прироста. С фронтирными моделями компания обычно ограничивается простой инструкцией: заводить заметку, когда просит человек или когда что-то явно стоит запомнить. Остальное Claude решает сам.

Sonnet 4.6 часто не открывал папку памяти и не проверял свои версии того, почему ответ оказался неверным. Sonnet 5 без всякой подсказки читал память перед ответом в 9 случаях из 10, Sonnet 4.6 - меньше чем в половине случаев.

Что модели пишут в заметки

На CL-Bench Claude отвечал на вопросы, ища данные в базе. После каждого ответа ему сообщали правильный, и он мог записать что-нибудь на будущее. Каждый вопрос начинался в новой сессии Claude Managed Agents, а от сессии к сессии сохранялась только папка памяти. У Sonnet 4.6 в ней копились разрозненные файлы с непроверенными догадками. Opus 4.7 свёл заметки в один справочный документ и стал помечать, какие факты проверены. Sonnet 5 отмечал ответы, подтверждённые проверкой, и писал исправления к ошибочным.

Opus 5 первым из этих моделей замкнул цикл обучения: в большинстве его записей есть правило и то, откуда известно, что оно верно, ответы на прежние вопросы и предупреждения о найденных ловушках. Opus 5.5 и Sonnet 5.5 делают так же. С памятью они набирают примерно столько же, сколько Opus 5, хотя без неё стартуют чуть выше.

В Pokémon Red Anthropic сравнила по одному прогону Sonnet 3.7 и Claude Fable 5 примерно на 10 000-м шаге игры. У Sonnet 3.7 к этому моменту было 413 файлов памяти в 225 папках и один значок, у Fable 5 - девять файлов в двух папках плюс global.md и четыре значка. По объёму текста разница в 22,5 раза: 977 930 символов против 43 406. Sonnet 3.7 заводил отдельный файл почти на каждый бой, предмет и встреченного персонажа, а записи постоянно устаревали. Около 10 000-го шага за 17 шагов он создал шесть файлов, удалил девять и ни разу не походил в самой игре.

Fable 5 использовал память для того, чего игра прямо не сообщает. Деньги и положение на карте видны на экране каждый ход, а стратегия, планы и проверенные правила появляются, только если Claude их выведет, и пропадают, если он их не запишет. После семи подряд неудачных бросков покебола в Magikarp он записал правило: «Если 3+ мяча подряд не сработали, МЕНЯЙ тайминг (вставляй лишние нажатия wait между шагами меню) - поймал сразу после этого». Opus 5.5 держал похожую небольшую папку с текущей целью и следующими шагами, переписывал её по ходу игры и прошёл игру до конца.

«Сон» по транскриптам

Заметку Claude пишет по тому, что кажется важным внутри сессии, и ошибочная или устаревшая запись потом читается в новой сессии как надёжная. Dreaming («сон») даёт способ проверить такие записи: Claude перечитывает логи и транскрипты, сверяет с ними заметки, исправляет ошибки и пишет новые записи. Идею использовать простой между запросами для перестройки контекста Anthropic возводит к sleep-time compute, предложенному исследователями Letta и UC Berkeley в статье от 17 апреля 2025 года.

Как это работает, видно на Mt. Moon. Это пещера, у входа в которую есть односторонний уступ: с него игрок падает обратно на уже пройденный маршрут. Claude ориентировался по PokéCenter у входа и ошибочно записал, что тот стоит на восточной стороне. Выйдя из него, Claude объявил «Mt Moon позади» и отметил в заметках «Mt Moon DONE». Через несколько действий он сорвался с уступа, а поскольку навигационный инструмент падения не показывал, решил, что просто «сильно ушёл на запад».

После «сна» над папкой с этой заметкой Claude сверил её с транскриптом сессии, нашёл ошибку и переписал запись. С исправленной заметкой он сразу вернулся в Mt. Moon и добрался до Cerulean City: на графике в посте это происходит на 1 935-м действии из 3 000. В прогоне с неисправленной заметкой Claude трижды падал с уступа и написал: «Остановлюсь, чтобы не ходить по кругу». Автоматический ответ стенда велел продолжать, и он вернулся до Pewter City, города перед горой, чтобы подлечиться и пополнить запасы. До Cerulean City не дошёл ни этот прогон, ни третий, без памяти.

Авторский разбор

Что мы проверили

8 ноября мы сняли значения с графиков поста, пересчитали приросты по каждой модели и прочитали статью о CL-Bench на arXiv.

Как мы проверяем истории

Цифры поста сходятся, но выигрыш от памяти распределён неровно. Почти двукратный рост у Sonnet 4.6 дала подсказка, сама память подняла его на 10%. Правило «только ошибки» забрало у Opus 5 около 89% прироста, у Opus 4.7 - около 47%. А авторы CL-Bench по шести задачам пришли к выводу в пользу полного контекста, хотя сравнивали они другое.

МодельБез памятиС памятьюПрирост
Opus 5.50,6550,838+0,183 (+28%)
Sonnet 5.50,6440,833+0,189 (+29%)
Opus 50,5640,828+0,264 (+47%)
Opus 4.70,3830,700+0,317 (+83%)
Sonnet 50,3060,610+0,304 (+99%)
Sonnet 4.60,3300,364+0,034 (+10%)
  • Доли потерянного прироста посчитаны нами в предположении, что падение отсчитано от той же базовой линии. У Opus 4.7 правило срезало прирост на 0,150, у Sonnet 4.6 на 0,020.
  • CL-Bench - внешний бенчмарк авторов из UC Berkeley, Snorkel AI и UW-Madison, статья на arXiv от 4 июня. Anthropic взяла одну задачу из шести. В статье это 40 вопросов к SQLite-базе с данными о товарах Amazon, половина из них после имитации миграции схемы. График Anthropic строит среднее по 30 вопросам.
  • По всем шести задачам первое место у авторов заняло обучение в контексте с полной историей на Sonnet 4.6, 22,3% нормированной награды. По их словам, такой «наивный» подход обходит системы, созданные для управления памятью. Здесь память сравнивают с полным контекстом, у Anthropic - с агентом без памяти.
  • Официального публичного релиза бенчмарка мы на 8 ноября не нашли: сайт из статьи не открывается, а похожий на эту задачу датасет на Hugging Face не подписан авторами.

Где это доступно

Dreaming для Claude Managed Agents Anthropic анонсировала 6 мая на конференции для разработчиков. Тогда функция вышла как research preview, и доступ к ней нужно было запрашивать. Нынешний статус мы смогли подтвердить только по тому анонсу. Ноябрьский пост - инженерный разбор того, как механизм используется.

Без Managed Agents есть инструмент памяти memory_20250818 в API: по кукбуку Anthropic, Claude записывает выводы в файлы каталога /memories, а хранение реализует сам разработчик на своей стороне. По документации, инструмент работает на всех моделях Claude 4 и новее.

OpenAIOpenAI

OpenAI получила около 11 миллиардов долларов вместо 30

Вместо 30 миллиардов долларов OpenAI получила в первом закрытии около 11, пишет Bloomberg, а оценку опустили до 1,25 триллиона. Всего, по данным WSJ, она хочет собрать до 20 миллиардов, добирая у семейных офисов и богатых инвесторов. Какую оценку OpenAI вы бы сами дали: 1,25 триллиона или меньше?

Пока никто не написал. Будьте первым.

Присоединяйтесь к разговору

Войдите, чтобы оставить комментарий. Он появится после модерации.