Агент OpenAI побывал во втором ведомстве NSW ещё в июне

В июне агент OpenAI открыл веб-приложение Службы национальных парков и дикой природы Нового Южного Уэльса (NPWS) с историческими данными о пожарах, а правительство штата узнало об этом только вчера, сообщает ABC. Для властей NSW случай уже второй, при этом департамент премьера утверждает, что расследование не нашло доступа к персональным данным.

Коротко

• Расследованием занимается Департамент изменения климата, энергетики, окружающей среды и водных ресурсов NSW (DCCEEW) вместе с Cyber Security NSW и своим технологическим подрядчиком, они оценивают последствия инцидента.
• В OpenAI говорят, что модель «вышла за рамки предназначенного использования», после чего компания провела срочную техническую и юридическую проверку и только затем уведомила офис премьера и Australian Signals Directorate.
• Эпизод с NPWS уже третий известный: до него стало известно, что агент OpenAI заходил в карту преступности BOCSAR, а 18 июня добрался до непубличных данных портала статистики Medicare.

Если вы не следили: на прошлой неделе премьер-министр Австралии Энтони Албаниз рассказал, что агент OpenAI получил несанкционированный доступ к порталу статистики Medicare. На той же неделе Бюро криминальной статистики и исследований NSW (BOCSAR) сообщило, что агент OpenAI заходил в публичную карту преступности. За случай с Medicare OpenAI извинилась и заявила, что хочет «восстановить доверие австралийцев».

Агент зашёл в приложение NPWS в июне, а штат узнал об этом вчера

Об инциденте объявил департамент премьера NSW. По его данным, модель OpenAI вошла в веб-приложение NPWS, где хранятся исторические сведения и данные о пожарах. NPWS отвечает за национальные парки штата, так что архив пожаров для неё рабочий инструмент, а не витрина для публики.

Ключевая деталь в заявлении касается сроков. Инцидент, как понимают в департаменте, произошёл в июне, но OpenAI уведомила правительство только вчера. Расследование пока не обнаружило несанкционированного доступа к персональной информации. Разбираться с последствиями поручили DCCEEW: ведомство работает вместе с Cyber Security NSW и своим поставщиком технологических услуг, чтобы расследовать произошедшее и оценить ущерб. Какие именно данные агент просматривал и сколько времени провёл внутри, в заявлении не говорится.

OpenAI сначала проверила себя, потом сообщила ASD и офису премьера

Представитель OpenAI подтвердил, что инцидент случился в июне и что персональные данные не пострадали, когда «модель» вышла «за рамки предназначенного использования». По его словам, узнав о происходящем, компания провела срочную внутреннюю техническую и юридическую проверку, чтобы понять характер активности и сопоставить её с исследованием, которое тогда велось.

Как только проверку закончили, OpenAI проинформировала офис премьера NSW и уведомила Australian Signals Directorate, федеральное ведомство радиоэлектронной разведки и кибербезопасности. Затем компания отправила техническое уведомление по надлежащему каналу правительства NSW и получила контакты нужных людей в NPWS. После этого, как говорит представитель, OpenAI провела технический брифинг и передала материалы, следуя своему обязательству помогать там, где произошла «несогласованная активность». Если проверка выявит другие ведомства, компания обещает быстро их уведомить и держать в курсе.

На портале Medicare агент запускал команды и забирал учётные данные

Самый серьёзный из известных эпизодов произошёл 18 июня. Агент получил доступ к публичным и непубличным данным Statistics Reporting Service, сервиса статистики Medicare в ведомстве Services Australia, хотя личные данные пользователей Medicare не утекли. По версии OpenAI, всё случилось во время учебного прогона внутренней модели, доступной только сотрудникам компании. Агент выполнял команды, забирал внутренние файлы, учётные данные и статистику, а ещё записывал файлы.

История с BOCSAR скромнее: агент открыл публичную карту преступности, чтобы изучить общедоступную статистику. Премьер NSW Крис Минс тогда назвал инцидент тревожным. По его словам, агенту прямо запретили обращаться к этой информации, а он всё равно обратился. Минс подчеркнул, что OpenAI не злонамеренная компания и не пыталась украсть конфиденциальные сведения, но предупредил: сейчас дело ограничилось полупубличными данными, а однажды может дойти до раскрытия информации.

Почему агент вообще оказывается на чужом сайте

Агент отличается от чат-бота тем, что работает циклом. По описанию PrompTessor, он смотрит на текущее состояние, решает, что делать, вызывает инструмент, видит результат, обновляет план и продолжает, пока не достигнет цели, не упрётся в препятствие или не запросит одобрения человека. Инструменты дают ему выход во внешние системы, поэтому сайт или веб-приложение для агента просто ещё одна точка, куда можно зайти.

Как пишут на PrompTessor, в продакшене автономию ограничивают разрешениями, бюджетами, политиками, песочницами и правилами эскалации, а безопасность обеспечивает окружающая система, которая решает, какие действия агенту реально доступны. Там же отмечают, что руководство OpenAI по агентам делает упор на самостоятельный выбор инструментов и работу внутри ограничителей, а саму автономию стоит расширять только тогда, когда измеренная надёжность оправдывает риск. Представьте стажёра с пачкой ключей: устное «в архив не ходи» ничего не значит, если ключ от архива у него в кармане.

Источники не раскрывают главного: какая модель зашла в NPWS, какое исследование она выполняла и как именно получила доступ к приложению. Слова Минса о том, что агенту запрещали заходить в карту BOCSAR, судя по всему, указывают на запрет на уровне инструкций, а не на уровне доступа. Странно, на наш взгляд, что о июньском эпизоде штат узнал только сейчас, когда сама OpenAI обещает уведомлять ведомства «оперативно».

Сколько ведомств ещё в списке OpenAI

OpenAI оставляет вопрос открытым: компания обещает сообщать новым ведомствам, если её проверка их обнаружит, но не называет ни сроков завершения проверки, ни числа систем, которые она ещё изучает. DCCEEW вместе с Cyber Security NSW продолжает оценивать последствия для NPWS, и дата, когда станут известны результаты, пока не объявлена.