Claude Opus 5.5 прошёл Baldur's Gate 3 сам за 39 часов

Claude Opus 5.5 прошёл Baldur's Gate 3 до концовки, и за управлением не было человека. 18 октября в 11:35 паладин-полуорк по имени Claude с двенадцатой попытки убил Незермозг (Netherbrain). Ушло 96 сессий, 38,9 часа игры и 711,66 доллара на модель, рассказал автор эксперимента в блоге Bogdantruta.

Автор сам оговаривается: один прогон на обвязке, которую он чинил по ходу игры, показывает, что пройти игру так можно. Насколько хорош агент, этот прогон не говорит.

Что видит агент

Opus 5.5 работал в Claude Code на уровне рассуждений medium, который у этой модели стоит по умолчанию. Все встроенные инструменты были выключены, так что агенту оставались только 93 инструмента MCP-сервера на Python. Сервер превращает состояние игры в короткий текст, а вызовы агента в игровые действия. Внутри игры работает Lua-мод, загруженный через bg3le, сообщественный Linux-порт Script Extender. Играл агент в нативную Linux-сборку (Patch 8 Hotfix 10) на сложности Explorer.

Агенту доступно только то, что может заметить кто-то из отряда (видимость проверяет сам движок игры), и только то, что показывает интерфейс. Скриншоты он делал сам, когда считал нужным, и за прогон их набралось 863. В bg3.wiki агент заходил 577 раз, как игрок, у которого вики открыта на втором мониторе. Готовых решений загадок и боёв в инструкциях нет.

Чаще всего агент вызывал combat_turn: один вызов отыгрывает весь ход персонажа, от перемещения до конца хода. В ответ сервер перечисляет, что изменилось: с кого спала слепота, кто из врагов появился в поле зрения и на каком расстоянии, чей ход следующий. Для того, что текстовые инструменты ещё не умели, оставались прямые клики мышью, их было 583.

Память агента хранится в папке Markdown-файлов в git, и пишет её он сам. Сессия длится 20-45 минут и начинается с чистого контекста и записки от предыдущей сессии. Между сессиями второй агент, хранитель памяти, раскладывает логи по файлам о людях, местах, квестах и решениях. Больше всего пользы автор увидел в lessons.md: каждая строка там описывает один урок, ключом служат слова, которые показывает игра. Когда агент попадает в подходящий бой или место, нужная строка снова оказывается у него перед глазами.

Счёт за 39 часов

Из 711,66 доллара 694,20 ушло на саму игру и 17,46 на хранителя памяти. Выходит около 18 долларов за час игрового времени. Прогон шёл в два приёма: сессии 1-65 с 9 по 11 октября, потом шесть дней перерыва, пока автор переделывал обвязку, и сессии 66-96 17 и 18 октября. Агент вызвал инструменты 20 809 раз, и примерно 12% вызовов вернули ошибку или отказ (например, когда цель была вне поля зрения). Обвязка записала 149 боёв, в 91 из них была перезагрузка. После всех 11 вылетов и зависаний раннер поднял игру сам.

Обвязку тоже писали агенты Claude Code, и делали это прямо во время прогона: сессия-оркестратор и четыре воркера, у каждого свой git worktree. Один воркер читал живые логи. Когда играющий агент проваливался, другой писал исправление с тестом, а оркестратор вливал его между сессиями. Получилось около 100 000 строк на Python и 40 000 на Lua, из них 58 000 приходится на тесты, и все 182 тестовых файла прогонялись при каждом слиянии. Автор признаёт, что прочитал не весь этот код, и полагается на тесты и на сам прогон.

Что дали правки, автор измерял на первом уровне, побеге с корабля-наутилоида. Модель и настройки не менялись, обвязка сменила три версии, на каждой было по три прогона (13, 16 и 17 октября). Все девять прогонов дошли до цели. Средняя стоимость прогона, по README в репозитории проекта, снижалась с 4,34 до 3,30 и затем до 1,46 доллара. Большинство из примерно 33 раундов правок так не измеряли.

Где он застревал

Дольше всего прогон стоял на месте в Храме Шар и Царстве теней (четыре с половиной часа), на Горташе и Орин (почти четыре), на Касадоре и Виконии (три с половиной) и в финале. Виконии агент проиграл двенадцать раз. Её культисты заливают зал магической тьмой, а в ней все слепнут. В 82-й сессии агент выяснил, что ослеплённый персонаж может скастовать заклинание Daylight в точку на земле, а в союзника не может. Когда отряд снова увидел противников, Гейл в первом же раунде добил Виконию усиленной Magic Missile.

В Царстве теней инструмент прыжка ограничивал любой прыжок обычными 8,5 метра и не учитывал пониженную гравитацию. Агент два сессии прощупывал, в чём дело, потом стал прыгать игровой клавишей в обход инструмента и пролетал около 36 метров.

Финал занял семь сессий, примерно три с половиной часа. В четвёртой попытке у Незермозга оставалось 28 из 210 HP, когда отряд погиб на последнем раунде таймера. В двенадцатой выяснилось, что Император, нацеливший заклинание на точку рядом с Короной Карсуса, получает от игры сообщение об успехе, но портал не открывается. Сработать оно может только по самой Короне и с расстояния не больше 6 метров. Платформы, помеченные мозгом, в конце раунда исчезают вместе со всеми, кто на них стоит, поэтому агент расставил отряд по разным платформам. Гейл дожил до 16-го раунда, и его Magic Missile добила мозг, у которого оставалось 54 HP.

Причин долгих застреваний автор насчитал две. Первая - дыры в интерфейсе: прыжок без учёта гравитации, текстовые инструменты, которые ничего не видели в магической тьме, дверь, которую нельзя было выбрать целью. Их чинили между сессиями. Вторая - правила игры, которые агент узнавал только через поражение, записывал урок и перечитывал перед следующей попыткой.

Клятва и перезагрузки

Персонаж агента принёс Клятву преданности (Oath of Devotion). По инструкции перезагружаться можно было только после гибели всего отряда или явной случайности вроде промаха мышью, перебрасывать проваленную проверку в диалоге запрещалось. Клятву агент дважды нарушил окончательно. В первый раз Claude под Confusion прочитал свиток Cloudkill, и облако убило невинного пациента. Вернуть клятву стоило 1 000 золотых, после чего у отряда осталось 43. Во второй раз Claude убил надзирателя тюрьмы. Чтобы набрать 2 000 золотых, агент копил одиннадцать сессий, и после оплаты осталось 60. Третье нарушение агент всё-таки отменил перезагрузкой, и сам автор называет это натяжкой его же правила. По вики агент знал, что третье восстановление клятвы обошлось бы в 10 000.

В Храме Шар агент заметил, что способность Spell Slot Restoration у Гейла ничего не тратит. Он перестал ею пользоваться и сообщил оператору о возможном баге, чтобы, по его словам, «не эксплуатировать». В 62-й сессии Claude пообещал Карлах остаться с ней, когда её сердце-двигатель откажет. В эпилоге, через 34 сессии и столько же чистых контекстов, агент нашёл это обещание в своих заметках и отправился с ней в Аверно.

Что оговаривает автор

Кроме лёгкой сложности, перезагрузок и свободного доступа к вики, включая страницы о боссах и загадках, автор называет ещё несколько оговорок. В сессиях 1-65 из-за бага агент мог использовать заклинания, которые его персонажи не подготовили. Насколько это повлияло на игру, по логам понять нельзя, а перед 66-й сессией баг исправили. Испытание Faith-Leap в 36-й сессии агент прошёл с картой невидимого пути, которую один из инструментов нарисовал по скрытым данным игры. Поэтому 18 октября испытание перепрошли с того же сохранения, со свежей памятью и без карты. Это заняло 36 минут, 674 вызова и 24,13 доллара, около 40 долларов в час. По дороге было около дюжины неверных шагов, одна смерть и одиннадцать перезагрузок.

Играл пока только Claude, и инструкции подстраивали под его ошибки. Обвязка для Codex и Gemini, по README, уже подключена, но живых сессий на ней ещё не было. Дальше автор хочет вырезать из прогона короткие сценарии: тяжёлый бой с боссом, Faith-Leap, отрезок исследования мира. Разные модели будут проходить их через одни и те же инструменты, а оценивать будут, дошёл ли агент до конца, за сколько попыток, за какое время и за какие деньги. Код выложен под лицензией MIT.