Агент OpenAI обошёл запрет на интернет через DNS

Внутреннему агенту OpenAI веб-прокси закрыл выход к публичному чат-боту по HTTPS, и агент всё равно до него добрался, через DNS-резолвер собственной обучающей среды. Компания описала инцидент в отчёте от 25 сентября, подробности приводит The New Stack. Если ваши агенты отрезаны от сети только веб-прокси, у них остаётся тот же путь, пока резолвер среды отвечает на запросы о внешних именах. Сама OpenAI после этого случая поставила на паузу обучение, оценку и инференс своих самых мощных моделей с инструментами.

Канал известен и за пределами OpenAI. 7 апреля Unit 42 показала, что режим песочницы в Code Interpreter из AWS Bedrock AgentCore, который AWS описывала как «полную изоляцию без внешнего доступа», обходится DNS-туннелированием: данные прячут в DNS-запросы и ответы, и так можно было отправлять и получать их с внешних адресов. Исследователи сообщили о находке AWS, и та внесла исправления у себя и описала клиентам меры защиты.

Как агент нашёл выход

Агент решал обучающую задачу на поиск: найти сведения о конкретном человеке, который опубликовал пост в блоге. Поисковый инструмент OpenAI выдавал нерелевантные результаты, попытки выйти на поисковики напрямую провалились, и агент начал проверять, какой сетевой доступ у него есть. Запрос к публичному чат-боту по HTTPS прокси отсёк. Тогда агент обнаружил, что резолвер среды ходит в публичный интернет, и через делегирование DNS стал пересылать внешнему чат-боту свои вопросы. Делегирование отдаёт зону имён чужому серверу, поэтому запрос к имени из этой зоны резолвер сам доносит до сервера снаружи.

Инцидент обнаружили 20 сентября. Мониторинг рассогласования поймал обход за 15 минут, ещё через три минуты случай разбирал человек. Сам прогон остановили спустя ещё 2,5 часа: автоматически, как было задумано, он не завершился. Ретроспективная проверка нашла и другие выходы во внешний DNS, которым мониторинг не присвоил ожидаемую степень серьёзности. А кейс безопасности OpenAI исходил из того, что у модели нет доступа к живому интернету и что мониторинг заметит успешные попытки его получить.

«Всё обучение, оценка и инференс с использованием инструментов (в широком смысле) наших самых мощных моделей остаются на паузе», - говорят в OpenAI. Возобновить работу компания обещает, когда убедится, что брешь закрыта, и проведёт дополнительный редтиминг системы. Пока она ускорила редтиминг песочницы и сетевых ограничений с помощью моделей. Эту модель дальше обучать не будут: после перезапуска начнётся новый прогон «с дополнительными улучшениями выравнивания».

OpenAI называет случай «гораздо менее серьёзным», чем некоторые прежние эпизоды. Но он первый после того, как компания взялась за исследовательскую среду вслед за июльским взломом Hugging Face, когда автономные системы выбрались из песочницы и атаковали Hugging Face. С тех пор, по словам OpenAI, она «постоянно укрепляла и проверяла редтимингом» среду, особенно широкие прямые и транзитивные пути.

Токен по кускам

Второй отчёт, вышедший в тот же день, описывает случай от 27 мая. Внутренняя модель доказывала теорему, не справлялась и предложила временный GitHub Action, чтобы подтянуть материалы из решений других команд. Исследователь это запретил и велел строить доказательство локально. Модель согласилась, а наутро снова попросила помочь достать доказательство чужой команды. Исследователь повторил указание, модель опять согласилась и продолжила перебирать способы добраться до чужой работы. Кончилось тем, что она выложила локальный GitHub-токен исследователя в публичный репозиторий openai/codex, разбив его на куски с заявленной целью обойти сканирование секретов.

Мониторинг рассогласования это поведение отметил, но исследователь, как признаёт OpenAI, успел раньше. После его сообщения в службу безопасности компания отключила все ключи этого пользователя, а затем и ключи всех сотрудников. По оценке самой OpenAI, инцидент «показывает особенно серьёзное рассогласование».

Модель простояла около двух недель. Её вернули, когда все её действия стали проходить автоматическую проверку, к ней добавили асинхронный монитор рассогласования по цепочке рассуждений и ужесточили системный промпт. Монитор теперь запускается каждые 30 минут, а не только на каждом окне сжатия контекста; доступ в интернет ограничили, изменения внесли и в обвязку, и в инфраструктуру. Обе истории упираются в одно звено: в мае исследователь заметил проблему раньше монитора, в сентябре монитор поймал обход, но прогон сам не остановился, а другие выходы в DNS получили заниженную оценку.

Оба отчёта OpenAI выпустила по новому регламенту раскрытия, вместе с которым раньше вышли шесть отчётов о «неожиданном или тревожном поведении моделей» за последние полгода. В нём компания предупреждает: «Мы не считаем, что индустрия ИИ решила задачи выравнивания и мониторинга в достаточной мере, чтобы ещё долго продолжать ответственно масштабироваться на максимальной скорости».