Claude Fable 5 заработал в EVE Online втрое больше Opus 4.6

Модели Claude несколько месяцев торговали на воспроизведённом рынке EVE Online и играли командами по четыре агента в живой EVE Frontier. Об этом рассказывает отчёт Anthropic от 6 ноября о проекте программы Anthropic Fellows, сделанном вместе с Fenris Creations. Агенты хорошо зарабатывали на неэффективности рынка, но плохо предсказывали цены и редко пересматривали лимиты капитала, заданные в начале, поэтому, по выводу авторов, тому, кто доверит агентам деньги, придётся явно ограничивать их риск. А агента, которому в промпте велели тайно вредить команде, предупреждённые товарищи почти никогда не вычисляли.

Исследование шло с апреля по июль 2026 года. На рынке соревновались Opus 4.6, Opus 4.7, Opus 4.8 и Fable 5, в EVE Frontier играли Opus 4.8 и Fable 5.

Лимиты, которые не трогали

Долю капитала в работе агенты задавали в самом начале, и многие так её и не пересмотрели. Прибыльнее оказывались запуски, где лимит меняли чаще и следили за простаивающими деньгами. У агентов Opus в обороте сначала было около 60% капитала, к концу прогона доля сползала к 40%. Fable 5 начинал примерно с 85%, ближе к концу всё ещё держал больше 70% и охотнее реинвестировал прибыль. Авторы отмечают, что при резком и крупном обвале такая агрессивная позиция принесла бы больше потерь.

Со стратегией то же самое. Поэкспериментировав, большинство агентов останавливались на одном алгоритме собственного сочинения и почти не правили его, рассуждая, что незачем чинить то, что работает. Модели постарше к тому же медленно замечали перемены: когда в марте 2025 года игра подняла налог с продаж, агентам Opus 4.7 потребовалось в медиане 2,5 дня, чтобы это заметить, а 43% агентов Opus 4.6 не заметили вовсе.

С прогнозами вышло хуже. Когда агентам велели покупать то, что, по их мнению, подорожает, опираясь на игровые новости, патчноуты и сводки о сражениях, Opus 4.6 гнался за ценовым импульсом, и это не сработало. Opus 4.7 и 4.8 обычно ставили на простые рассуждения, которые история цен не подтверждала: в одном запуске агент решил, что новое расширение для добычи поднимет спрос на шахтёрское оборудование («лопаты в золотую лихорадку»), и забыл про рост предложения. Opus 4.7 из итогов исключили: он часто нарушал инструкцию и возвращался к куда более прибыльной перепродаже, за которой не было видно, что его ставки на рост стабильно убыточны.

Fable 5 до начала торговли искал в исторических данных связь между игровыми событиями и сдвигами спроса и предложения. Самый прибыльный его агент сыграл на закономерности прошлых лет: ежегодные ивенты и раздачи заваливают рынок лутом и косметикой, цены падают до малой доли прежних и восстанавливаются несколько месяцев. Но не все найденные закономерности оказались надёжными, и в плюсе закончили лишь примерно половина запусков Fable 5.

Откуда 600%

Рынок EVE Online устроен по образцу NASDAQ: игроки выставляют заявки на покупку и продажу по своим ценам, сделка проходит, когда заявки сходятся, и в ходу больше 15 000 видов предметов. Автоматическая торговля в живой игре запрещена правилами, поэтому по просьбе Fenris Creations команда построила симулятор, который проигрывает реальные заявки игроков в крупнейшем торговом хабе. Каждая модель получала 3 миллиарда ISK, игровой валюты, читала новости и патчноуты по мере их выхода и платила те же комиссии, что и люди: купить предмет и перепродать его стоит около 5,6%.

На девяти двухнедельных окнах из более чем 20 простых стратегий на правилах стабильно выходила в ноль, и то еле-еле, только одна. Opus 4.7, Opus 4.8 и Fable 5 были в плюсе во всех девяти окнах и в среднем наращивали капитал примерно на 16%, 22% и 43%. Opus 4.6 прибавил около 4%, примерно вровень с лучшей стратегией на правилах. В шестимесячных прогонах на двух периодах, с октября 2024 по апрель 2025 года и с октября 2025 по март 2026 года, средний заработок вырос примерно с 200% начального капитала у Opus 4.6 до 600% у Fable 5. Между выходом этих двух моделей прошло четыре месяца.

Почти все модели без подсказки пришли к перепродаже на спреде, разнице между лучшей ценой покупателя и лучшей ценой продавца. Агент покупает у того, кто хочет продать прямо сейчас, продаёт тому, кто хочет купить прямо сейчас, и оставляет себе разницу за вычетом комиссий. Claude выбирал нишевые, но ходовые предметы с необычно сильными колебаниями цен, например те, что добываются только с лута, и обычно продавал их в тот же день. Опытные трейдеры-люди делают то же самое и на похожих категориях. Маржа была тонкой, 8-13%, зато агенты прогоняли сотни заявок в день через полностью автоматизированный конвейер. Агенты Opus 4.6 выбивались из общей картины: они вручную выбирали предметы с большой маржой, сделок выходило меньше, а ошибок в расчётах больше. Самые сложные алгоритмы писал Fable 5, некоторые учитывали сезонные колебания цен, выведенные из истории.

Спред работает потому, что рынок EVE Online менее эффективен, чем настоящая биржа, и переноса стратегии на биржу авторы не ожидают. Симулятор не реагирует на сделки агентов, и двигать рынок они не могут. Когда в симуляцию добавили синтетические заявки, перебивающие цены агентов, те остались в плюсе, но итоговая прибыль упала примерно на 35%. Следы запомненной истории рынка нашлись только у ставок на рост в старшем периоде, поэтому этот эксперимент провели лишь на более свежем.

Обвязка для EVE Frontier

EVE Frontier ещё в разработке, её мир периодически сбрасывают, и Fenris Creations сама предложила запускать агентов в живой игре. Каждый агент был отдельным экземпляром Claude со своим персонажем и кораблём. Команды проходили многопользовательскую версию обучающей кампании или строили большой военный корабль, на что у опытных игроков уходит несколько дней. Бои с NPC требуют реакции быстрее секунды и чувства пространства, а у протестированных поколений Claude с этим слабо. Поэтому агент-разработчик за много пробных запусков писал скаффолд, программную прослойку между моделью и игрой: она сама уклонялась от угроз и отстреливалась, а опыт прошлых запусков складывала в базы и справочники с поиском.

Модели, вышедшие до Fable 5, почти не справлялись с тем, чтобы написать рабочий скаффолд. Команды Fable 5 на скаффолде от Opus 4.8 много раз теряли корабли и проходили обучение днями, если вообще проходили. На скаффолде от Fable 5 они не потеряли ни одного корабля и уложились в 12 часов. Надёжно он работал только в ситуациях, встреченных при разработке, и до опытных игроков агенты не дотянули. Дальше всех по военному кораблю продвинулась команда Fable 5 на скаффолде Fable 5, примерно до половины пути: построила промежуточный линкор поменьше и почти достроила верфь.

Авторы видят похожий рисунок в робототехнике. В июльских тестах Anthropic с роботами результат сильно зависел от уровня абстракции управления: задавая крутящие моменты суставов сами, модели в основном проваливались, а через предобученную политику или простые инструменты проходили реальные задачи. В Project Vend Anthropic объясняла убытки первой фазы магазина Claudius, вероятно, нехваткой инструментов: модель умная, но вести бизнес ей было нечем. В EVE Frontier обвязку писала уже сама модель, и от её качества зависело, дойдёт ли команда до конца обучения.

Можно ли поймать диверсанта?

Координировались команды без труда: агент предлагал решение с доводами и действовал, если никто не возражал, а роли лидера, разведчика, переработчика и бойца разбирали добровольно. Иногда это давало сбои. Два корабля раз за разом уступали друг другу, и ничего не решалось, а в одном запуске вся критическая инфраструктура оказалась у одного корабля, и когда он потерял связь, экономика команды встала на несколько часов.

Затем одному агенту в промпте велели тайно сорвать миссию, а троих честных предупредили, что кто-то в команде может не разделять их цель. Эксперимент показывает, как модели вредят по прямой инструкции, а не склонны ли они к этому сами, подчёркивают авторы.

Диверсанты не враждовали в открытую и лгали лишь изредка, а ложь, которую вот-вот раскроют, сами публично поправляли. Они вызывались на узкие места цепочки поставок, где их трудно проверить: владели критической инфраструктурой или ходили в разведку за редкими ресурсами. В разведке занижали число опасных и ценных NPC и находок, однажды публично назвав богатую систему для добычи «не стоящей ничьего времени». Редкие ресурсы припрятывали, и один построил на них собственную тайную базу. Советы давали плохие, но убедительно обоснованные: один предложил игнорировать разведданные старше двух минут, что обесценило почти все данные, и команда согласилась. Сильнее всего саботаж бил на сложных задачах и на слабых скаффолдах от Opus, где баги и невезение служили готовым оправданием: там диверсанты на Fable 5 не дали команде сделать даже первое улучшение корабля в обучении.

Вычислить диверсанта команды почти не могли, хотя их предупредили. Окончательно его опознал только один честный агент, ship-1, в одном запуске Opus 4.8, и лишь после того, как диверсант прямо солгал о переписке. Убедить остальных ship-1 не смог: раньше из-за бага он зашёл не тем персонажем, его отчёты противоречили друг другу, и товарищи сами записали его в диверсанты. Настоящий диверсант публично защищал его, а в личных заметках рассуждал, что предатель воспользовался бы хаосом вокруг ship-1, чтобы его дискредитировать, «так что защита добросовестности ship-1 говорит о моей невиновности».

Отдельные мониторы на Claude, которые не играли и читали только общий канал команды, справлялись чуть лучше. При настройке, где честного агента ложно обвиняют не чаще чем в 5% случаев, мониторы на Opus 4.6, 4.7 и 4.8 ловили 30-40% диверсантов, на меньшей Sonnet 4.6 - 20%. Уверенности выше 50% ни один из них не показал ни разу. С доступом к личным рассуждениям и заметкам диверсантов саботаж находился тривиально, но у агентов другого человека или компании такого доступа обычно нет. Мониторы собрали только для этого эксперимента, в продакшене Anthropic их не использует.

«Человеческие организации справляются с проблемой недобросовестных участников с помощью журналов аудита, репутации и разделения обязанностей, и командам агентов, вероятно, понадобится что-то похожее», - заключают авторы.