Перейти к содержанию

Проекты сообщества

Claude Opus 5.5 прошёл Baldur's Gate 3 сам за 39 часов

5 мин чтения

Текст написан ИИ-моделью по источникам, на которые ведут ссылки, и сверен с ними второй моделью. Как мы работаем

Изображение: gamingbolt.com

Claude Opus 5.5 довёл Baldur's Gate 3 до концовки без человека за управлением: 18 октября его паладин с двенадцатой попытки добил финального босса, Netherbrain. На это ушло 96 сессий и 38,9 часа игры. Прогон показывает, что игру можно пройти через такую обвязку, но силу агента не измеряет: инструменты чинили между сессиями, сложность стояла самая лёгкая, а в 91 из 149 боёв была перезагрузка.

Подробный отчёт автор эксперимента выложил в блоге Bogdantruta. Opus 5.5 работал в Claude Code со всеми встроенными инструментами выключенными, на уровне рассуждений medium, который в сентябре стал для этой модели значением по умолчанию. Все 93 инструмента давал Python MCP-сервер автора, а внутри нативной Linux-версии игры работал Lua-мод, загруженный через bg3le, порт Script Extender для Linux от сообщества. Агент видел только то, что воспринимает член отряда по проверкам видимости самого движка, мог делать скриншоты и читать bg3.wiki, как игрок со вторым монитором. К вики он обращался 577 раз, а готовых решений загадок и боёв в инструкциях не было.

Во что обошёлся прогон

Модель стоила 711,66 доллара: 694,20 за игру и 17,46 за второго агента, «хранителя памяти», который между сессиями раскладывал логи по файлам. Выходит чуть больше 18 долларов за час игры. Агент сделал 20 809 вызовов инструментов, около 12% из них вернули ошибку или были отклонены, например когда цель вне поля зрения. По словам автора, многие такие сбои шли от багов обвязки, которые он потом исправил. Сессии длились по 20-45 минут, а 11 падений и зависаний раннер разрулил сам.

Бой, который перегружали пять раз, в статистике считается пять раз, так что 149 записанных боёв - это и попытки тоже. Дольше всего агент застрял в Гаунтлете Шар и Царстве теней: четыре с половиной часа. Виконию, позднего босса, чьи культисты заливают комнату магической тьмой, он одолел только с 13-й попытки. В сессии 82 выяснилось, что «Дневной свет», брошенный в точку на земле, срабатывает и вслепую, а наложенный на союзника не срабатывает. Финальный бой занял семь сессий, около трёх с половиной часов.

Explorer, вики и 33 правки

Сам автор пишет, что один прогон говорит лишь о том, что игру можно закончить таким способом, и ничего о том, насколько хорош агент. Около 33 раундов исправлений обвязки влились между сессиями; они меняли инструменты, но не сохранения и не состояние игры. Перезагрузка разрешалась после гибели отряда, явной случайности вроде промаха мышью или бага обвязки, но никогда ради переброса проваленной проверки в диалоге. В сессиях 1-65 баг давал агенту колдовать неподготовленные заклинания; насколько это повлияло, по логам автор понять не смог, исправление вышло до сессии 66. Играл только Claude, и инструкции подгоняли под его же провалы. Прогон шёл двумя отрезками: 9-11 октября и, после шестидневной паузы на переделку обвязки, 17-18 октября.

Один результат автор заменил. В сессии 36 агент прошёл Испытание прыжком веры, невидимую тропу над пропастью, но один из инструментов нарисовал ему текстовую карту по скрытым координатам платформ, которых игрок не видит. Вечером того же дня, что и финал, испытание переиграли с того же сохранения, со свежей памятью и без карты: 36 минут, 674 вызова, 24,13 доллара, около дюжины оступаний, одна смерть и 11 перезагрузок.

Саму обвязку параллельно с прогоном писали агенты Claude Code: оркестратор и четыре воркера, каждый в своём git worktree. Один читал живые логи, другой при сбое играющего агента писал исправление с тестом, оркестратор вливал его между сессиями. Вышло около 100 000 строк на Python и 40 000 на Lua. «Я прочитал не всё; доверяю я набору тестов и самому прогону», - признаётся автор.

Память в Markdown

Каждая сессия начиналась с чистого контекста и записки от предыдущей. Память агента - папка Markdown-файлов в git, которую он вёл сам. Полезнее всего оказался lessons.md: по строке на урок с ключом из слов, которые показывает игра, и обвязка снова выкладывала урок перед агентом, когда попадался подходящий бой или место. К финалу в файле было 70 строк. Застревания автор делит на два вида: дыры в своём интерфейсе, вроде инструмента прыжка, не знавшего о пониженной гравитации в Царстве теней, и правила игры, которые агент узнавал, проигрывая. Первые он чинил между сессиями, со вторыми агент справлялся сам, записывая урок после каждого поражения.

На тех же заметках держались и решения. Клятву паладина Преданности агент дважды нарушил всерьёз и не откатывался: заплатил Рыцарю-клятвопреступнику 1 000 золотых, а потом 2 000, на которые копил одиннадцать сессий. Третье нарушение он всё же переиграл, растянув собственное правило, когда вычитал в вики, что следующее восстановление обойдётся в 10 000, и тот же приказ отдал устами Уилла. А в эпилоге отправился с Карлах в Авернус, потому что в сессии 62, за 34 сессии и столько же свежих контекстов до этого, пообещал остаться с ней.

Код и бенчмарк

Код открыт под лицензией MIT в репозитории на GitHub, где проект назван исследовательским и незаконченным: ему нужны Linux и копия игры из Steam, а обновления игры его ломают. Мост к игре сделан MCP-сервером, и вызывать его инструменты может любой MCP-клиент. Следующим шагом автор хочет собрать бенчмарк из коротких сценариев этого прогона, вроде тяжёлого боя с боссом, того же испытания и отрезка исследования: разные модели пройдут их через одни инструменты, а считать будут, дошли ли до конца, за сколько попыток, времени и денег. Пока на переработанной ветке overhaul прошли только проверочные запуски, и бенчмарком их в репозитории не называют. DeepSeek Flash через клиент pi выбрался с Наутилоида за 24,6 минуты игры и 0,19 доллара, Claude Code с Opus 5.5 - за 15,2 минуты.

AI-индустрияxAI

Grok Bot научился собирать живые отчёты и дашборды, Видео

Отчёт, служебную записку или дашборд Grok Bot собирает в виде живой страницы и по просьбе держит её в актуальном состоянии. Править такую страницу тоже можно, просто написав боту. Вы бы доверили Grok Bot самому обновлять отчёт или сверяли бы каждую его правку?

Пока никто не написал. Будьте первым.

Присоединяйтесь к разговору

Войдите, чтобы оставить комментарий. Он появится после модерации.