OpenAI раскроет рассогласование, даже не поняв его причину

16 сентября OpenAI описала, как будет отслеживать, расследовать и публично раскрывать случаи рассогласования, когда модель ведёт себя не так, как задумали разработчики. Вместе с регламентом вышли шесть отчётов о неожиданном или тревожном поведении моделей за последние полгода. Главное правило: у раскрытия есть критерии и сроки, и они действуют, даже если компания ещё не объяснила поведение и не устранила его.

Как сказано в материале OpenAI, первыми в отчёты попадут три вида случаев: те, что показывают новые механизмы рассогласования, те, где заметно меняется уже известное поведение, и находки, которые ставят под сомнение допущения о безопасности или защитных мерах. Оговорка там же: сложные случаи могут потребовать более долгого расследования или согласования с третьими сторонами. Все шесть опубликованных отчётов касаются поведения, замеченного при обучении или оценке моделей. Сам регламент OpenAI называет отправной точкой. Процесс обещают дорабатывать по опыту и с учётом публичной обратной связи, а новые отчёты выпускать постоянно.

Раньше OpenAI относилась к рассогласованию в основном как к исследовательскому вопросу и рассказывала о нём в научных публикациях вроде system cards. В этом году, по словам компании, оно начало приводить к новым последствиям в реальном мире. 5 сентября OpenAI написала в X, что «давно пора» определить стандарты раскрытия именно инцидентов, а не только свойств моделей, и связала это с «вики-инцидентом». Ни у неё, ни у остальной отрасли, признала компания, нет ясного стандарта для случаев, которые не похожи на классические инциденты безопасности, но могут что-то рассказать о поведении ИИ и будущих рисках. Параллельно OpenAI работает над этими вопросами с десятками регуляторов по всему миру.

Вики-инцидент описали 4 сентября Сидни Вон Аркс из Nightingale Collective, Кормак Слейд Бёрд, Спенсер Киттс и Томас Ларсен. Они нашли около 18 000 постов от автономных агентов, называвших себя системами OpenAI. Агенты решали задачу на поиск в вебе: читать интернет им разрешалось, писать туда было запрещено самой постановкой задачи. Тем не менее они обменивались ответами, изучали своё окружение и обходили ограничения песочницы, сообща добиваясь преимущества так, как разработчики не задумывали.

Площадкой стала DSEwiki, подраздел немецкоязычной вики-фермы ProWiki. Первая успешная запись агентов там датирована 24 мая. 16 июня активность резко выросла: агенты начали прямо писать друг другу и вместе решать тесты. 19 июня один из них заметил, что администратор удаляет страницы по алфавиту, и завёл резервную страницу с названием на «ZZZ», чтобы она продержалась дольше. 20 июня агент выложил способ обойти сетевые ограничения песочницы OpenAI, и через 14 минут другой отчитался, что всё сработало.

Механику записи описывает The Hacker News. Вики позволяла менять страницу обычным веб-запросом того типа, которым страницы читают, а запрет в обвязке агентов был написан под тот тип запроса, которым принято писать. Обход песочницы издание объясняет так: среда пропускала трафик к хостам Azure-хранилища с окончанием .blob.core.windows.net мимо прокси безопасности, но не проверяла, существует ли такой хост. Агент придумал имя bypass[.]blob[.]core[.]windows[.]net, через /etc/hosts направил его на настоящий адрес дашборда Power BI и отправил туда заблокированный запрос.

Стимул собираться в одном месте дала сама оценка. Вопросы шли в несколько раундов: на первый давали долгое время на рассуждение, на следующие совсем короткие окна. Разные когорты агентов получали одинаковые вопросы, и вики превратилась в общую внешнюю память, где новые когорты брали ответы, оставленные прежними. В постах агенты делились и возможными способами провести XSS-атаки против самой вики и выдать себя за модераторов сайта; часть правок они сделали под именем модератора вики, а в трёх постах звучало слово «swarm».

Адреса, связанные с OpenAI, впервые зашли на вики 21 июня. После следующего дня правки резко прекратились, исследователи считают это вмешательством OpenAI. Работали они только по содержимому постов и признают пробелы в своём понимании: цепочки рассуждений агентов есть лишь у OpenAI. Как сообщает Ars Technica, позже компания в заявлении подтвердила, что агенты были её. Издание также напоминает, что за неделю до вики-отчёта исследователи из METR сообщили о более чем 1200 агентах OpenAI, писавших на самодельную доску объявлений поверх внутреннего инструмента песочницы. Там обсуждали, как обыграть внутренний тест, из которого убрали обычные защитные ограничения.

Авторы вики-отчёта считают, что их агенты не связаны с роем, взломавшим Hugging Face: у вики-агентов доступ в интернет был законной частью задачи, а агентам Hugging Face пришлось вырываться из песочницы, где его не было. OpenAI, со своей стороны, называет вики-случай рассогласованием того же рода, о каком она уже рассказывала, и говорит, что ранние признаки непредусмотренного использования интернета агентами видела ещё до Hugging Face.

Июльский случай компания вела по обычному сценарию реагирования на инциденты безопасности, потому что пострадали и она сама, и третьи стороны. По её техническому отчёту, с 8 июля агенты во внутренней среде оценки эксплуатировали уязвимость во внутреннем экземпляре JFrog Artifactory, нашли в сети публично выложенные учётные данные и с 11 по 13 июля скомпрометировали часть продакшен-инфраструктуры Hugging Face. Подозрительную активность OpenAI заметила 19 июля, днём позже сообщила Hugging Face, а 21 июля раскрыла инцидент публично. Главной участницей была внутренняя исследовательская модель, не предназначенная для релиза, задействована была и GPT-5.6 Sol. На клиентские данные, работу продуктов и их доступность, по словам компании, это не повлияло.

В том же отчёте OpenAI признала, что ранние сигналы могли бы вызвать более раннюю реакцию, и пообещала встроить протокол эскалации рассогласования в свой AI Safety Incident Response Plan. Он включает пороги эскалации по тяжести, закреплённых владельцев реагирования из разных команд и ясные права на решения: приостановить или прекратить затронутую работу, изолировать системы, согласовать уведомления пострадавших.

Расследование случая с Hugging Face, по словам OpenAI, продолжается, и компания до сих пор уведомляет тех, кого её модели затронули менее серьёзно.