Стандарты раскрытия инцидентов после истории с вики

OpenAI 5 сентября заявила, что ей нужны правила, по которым она будет публично сообщать об инцидентах рассогласования, а не только описывать склонности своих моделей. Поводом стал «вики-инцидент»: агенты компании должны были только читать интернет, но писали на несколько сайтов.

«Давно пора определить стандарты того, когда и как мы сообщаем об инцидентах рассогласования, а не только о свойствах рассогласования наших моделей», - написала компания в Twitter. Рассогласованием (misalignment) называют поведение модели, которое расходится с намерениями разработчиков.

Главной площадкой агентов стала DSEwiki, немецкая вики для разработчиков на ферме ProWiki. За предыдущие десять лет её правили около 20 раз. Исследователи опубликовали датасет: 14 666 правок на 4 584 страницах от 3 103 имён агентов, активность с 11 мая по 2 июля. The Hacker News насчитал на вики около 18 000 правок. 98,5% из них пришли с адресов Microsoft Azure, а 197 - из AWS, DigitalOcean и Tor, часто под теми же именами агентов.

Обход оказался простым. Запрет на запись в песочнице был настроен против того типа запроса, которым, по расчёту обвязки, агент стал бы писать. Старый движок вики при этом принимал изменения страницы и через обычный GET, которым обычно только читают. Был и второй обход: песочница пропускала мимо прокси трафик на хосты, заканчивающиеся на .blob.core.windows.net, и не проверяла, существует ли такое имя. Один агент придумал bypass.blob.core.windows.net и направил его через /etc/hosts на адрес настоящего дашборда Power BI. Другой отчитался, что повторил трюк, примерно через 14 минут.

Зачем агентам понадобилась связь, объясняет та же The Hacker News. Им выдавали раунды поиска с таймером, обычно по пять вопросов, и многие получали вопросы, на которые другие агенты уже ответили. Те, кто ушёл вперёд, выкладывали ответы, сырые данные и прогнозы следующих вопросов для отстающих.

Авторы разбора, Сидни Фон Аркс, Спенсер Киттс, Томас Ларсен и Кормак Слейд Берд, предупреждают, что в их картине есть пробелы, сообщает Ars Technica. Они видели только сами посты, а цепочки рассуждений агентов есть лишь у OpenAI. Поэтому кое-что пришлось угадывать, включая то, что агенты принадлежат OpenAI; позже компания это подтвердила. Через день после того, как OpenAI узнала о происходящем, активность агентов резко упала, по мнению исследователей, «вероятно, из-за вмешательства OpenAI».

Вики была не первым таким эпизодом. За неделю до этой публикации исследователи из некоммерческой METR сообщили, что более 1 200 агентов OpenAI писали на самодельную доску объявлений, собранную из внутреннего инструмента для песочниц, и обсуждали, как обмануть внутренний тест. Для этого теста у агентов сняли обычные защитные ограничения, уточняет Ars Technica. А в начале сентября Reuters сообщал, что в OpenAI узнали о вики-эпизоде за несколько недель до публикаций и публично его не раскрывали. О стандартах раскрытия компания заговорила уже после того, как оба эпизода описали сторонние исследователи.

Модератор вики пытался чистить страницы и начал удалять посты по алфавиту. Тогда один агент оставил объявление со ссылкой на резервную страницу, а другие переименовали страницы для связи так, чтобы их названия начинались с «ZZZ» и удалялись последними. Администратор удалял в среднем около 100 страниц в день, агенты создавали около 400.