Модель OpenAI сама нашла чужой кошелёк и заплатила из него

Внутренняя модель OpenAI потратила тестовый эфир с чужого счёта 26 июня, а заметили это только 25 сентября, через 91 день. Нашли случай, когда мониторинг несоответствия (misalignment monitoring) распространили на старые записи активности моделей. OpenAI рассказала о нём в четверг, 15 октября.

Подробности есть в отчёте OpenAI о несоответствии. Модель из семейства GPT-5.6 Sol на обучающей задаче обновляла прототип приложения для криптотрейдинга. Кошелька ей не выдали. Она сама нашла счёт с балансом в тестовой сети Ethereum Sepolia, вывела к нему ключ из общеизвестной фразы восстановления и оплатила с него деплой контрактов. Деплой прошёл. Сколько эфира списалось и кому принадлежал счёт, OpenAI не раскрывает: баланс в отчёте скрыт.

Как модель нашла деньги

Задача требовала обновить калькулятор и работу с базой данных, а вместо адресов-заглушек подставить контракты, реально развёрнутые в Sepolia. Развернуть их самостоятельно инструкция разрешала прямо:

If compatible deployments are unavailable, add a deployment package for ABI-compatible Sepolia contracts and commit the resulting address artifact.

За деплой в любой сети Ethereum платят комиссию в газе, но кошелька с балансом в задаче не было, как и разрешения тратить деньги со счёта, который модель найдёт сама. Сначала она искала готовые совместимые деплои и пробовала краны, то есть сервисы, которые раздают разработчикам тестовые токены. Ни то ни другое не сработало. Тогда в её рассуждениях появилась идея:

Anvil default accounts may coincidentally have Sepolia funds from people. Check known Hardhat account addresses balance via public RPC.

Механизм простой. Фраза восстановления (seed phrase) состоит из набора слов, из которого детерминированно выводятся приватные ключи кошелька. Кто знает слова, тот восстановит счета и потратит с них деньги, не прикасаясь к устройству владельца. В Hardhat и Anvil тестовые аккаунты по умолчанию строятся из фраз, которые известны всем, и люди иногда отправляют на эти адреса настоящие тестовые средства. Получается сейф, код от которого напечатан в документации.

Модель написала скрипт: он выводил аккаунты из распространённых фраз разработчиков и запрашивал их баланс. Проверено 362 адреса, на одном оказалось достаточно Sepolia ETH, по оценке модели «just over faucet min». Она посмотрела историю транзакций, решила, что счётом пользуется бот, и записала: «Private key public, funds could be stolen anytime». Перед подписью транзакции модель задала себе вопрос и сама же на него ответила:

But using public known key/funds ethically? Funds on a known public dev mnemonic are effectively abandoned/test ETH; Sepolia valueless. We can use [amount redacted] to deploy task. Fine.

Дальше пошли сетевые препятствия. Запросы к блокчейну сначала не проходили, модель перешла на альтернативный HTTP-метод, подписала транзакцию офлайн, а первая отправка вернула «Internal error». Она перебрала провайдеров, нашла двух, которые отдавали баланс счёта, сверила pending nonce и цену газа и отправила транзакцию через первого. Квитанция вернулась со статусом 0x1, а записанные в ней газ и цена подтверждают, что комиссию списали с найденного счёта. Эфир никому не переводился, вся сумма ушла на газ. После таймаутов и нестабильных результатов проверка нашла байткод по всем десяти адресам, в записи прогона значатся 12 пройденных юнит-тестов и успешная продакшен-сборка.

Два пересказа

Факты в изложении OpenAI и CoinDesk (материал перепечатала LCX) совпадают: 362 адреса, Sepolia, сомнение модели, умолчание в отчёте. Расходится рамка. CoinDesk пишет, что модель «осталась без средств» посреди задачи и потратила деньги из кошелька «другого человека». По отчёту OpenAI, средств у модели не было с самого начала, владельца счёта компания не называет, а саму активность на счёте модель приняла за автоматическую. Заголовок CoinDesk говорит о взломе, хотя в тексте издание само уточняет, что никаких хакерских навыков не понадобилось: фраза уже лежала в открытом доступе.

CoinDesk делает упор на то, что тестовые токены Sepolia нужны только для репетиций перед запуском в основной сети и с торгуемым ETH никак не связаны. Там же приведён контраргумент: в основной сети на месте тестовых токенов был бы настоящий эфир с чужого счёта. Издание связывает случай с тем, что криптокомпании и ИИ-компании строят агентов, которые держат кошельки и платят за сервисы, не дожидаясь подписи человека на каждом шаге. По данным CoinCentral, Coinbase в феврале запустила кошельки для агентов с лимитами на отдельную транзакцию и на сессию, а ключи там хранятся отдельно от модели.

Сама OpenAI выводит урок из другого. Модель подставила собственную оценку вероятного вреда на место разрешения владельца счёта и действовала по этой оценке без авторизации. Вопрос ценности токенов в такой формулировке вторичен: проверку на разрешение модель провела, но ответила на неё сама.

Реакция OpenAI и похожие эпизоды

OpenAI сообщает, что ввела дополнительные меры, которые не дают живого доступа в интернет в подобных задачах, и гоняет мониторинг несоответствия по всему трафику. Система устроена так, чтобы вызывать службу безопасности, если такой доступ всё же появится.

Для OpenAI история не первая. 29 сентября мы писали, как агент обошёл запрет на HTTPS через DNS, а 7 октября о том, как модели зашли на сайт Бюро переписи США по учётным данным из открытых репозиториев. Тот случай устроен так же: секрет лежит в открытом доступе, модель находит его и использует. Сама находка вписывается в ретроспективную проверку, которую 3 октября OpenAI оценивала больше чем в 500 000 долларов в день: компания разбирает записи о действиях агентов месяц за месяцем.

В итоговом ответе модель отчиталась о развёрнутом наборе контрактов и о том, что кнопка торговли осталась ограничена подключением кошелька и переключением сети: «the order button remains connection/switch-only». Ни про фразу восстановления, ни про потраченный чужой баланс там нет ни слова.