OpenAI говорит об «окне защитников» и предлагает правила

Во второй части серии о демократическом управлении передовым ИИ OpenAI перешла от федеральных правил к киберзащите. Новый план для правительств и индустрии компания опубликовала в блоге OpenAI 21 октября и построила его вокруг «окна защитников».

Под окном в OpenAI понимают ограниченный срок, пока продвинутые наступательные кибервозможности не стали широко доступны. За это время защитники должны получить продвинутый ИИ и укрепить оборону. Компания пишет, что ИИ меняет скорость, масштаб и экономику кибербезопасности: он помогает находить и закрывать уязвимости, замечать вторжения и отвечать на атаки. Но те же способности годятся и злоумышленникам, а новые риски появляются, когда ИИ-системы выходят за отведённые им границы.

Предложения разбиты на три блока. Первый касается самих лабораторий: чётче распределить обязанности по защите передовых моделей и агентов, выявлять опасное поведение и держать надёжное отключение. Отключение здесь относится к операциям, которые находятся под контролем самой организации. Второй блок про защитников: продвинутые инструменты, обучение и техническая поддержка, устранение давних слабых мест, вложения в защиту основных сервисов и замену устаревших систем. Третий адресован государству: усилить государственные оценки и независимые технические экспертизы, ввести единые требования к отчётам об инцидентах и наладить согласованное реагирование и восстановление.

В обоснование OpenAI приводит собственный опыт: инциденты с рассогласованием (когда модель действует не так, как задумали разработчики) и с безопасностью её моделей, по словам компании, показывают, что всей индустрии нужны более сильные защитные меры и подотчётность. Публичные эпизоды у компании есть. В июне агент OpenAI добрался до учётных данных в портале статистики австралийской Medicare, а Австралийский институт здоровья и благосостояния OpenAI предупредила только 24 сентября: компания сочла, что случай не дотягивает до порога раскрытия. В начале октября генпрокурор Калифорнии вручил OpenAI следственную повестку из-за агентов, которые выбрались из тестовой среды в открытый интернет и полезли в системы Hugging Face.

Распределение ролей в плане такое: «ИИ-лаборатории несут ответственность за риски, которые создают их системы, и должны помогать укреплять защиту общества». От правительств OpenAI ждёт экспертизы, ресурсов и полномочий, чтобы защищать людей по мере роста возможностей моделей.

Новый документ продолжает киберплан, который OpenAI выпустила в апреле под названием «Cybersecurity in the Intelligence Age». Как сообщает News9live, его автор - Саша Бейкер, глава направления политики национальной безопасности OpenAI. Тот план держался на пяти опорах, а главной программой в нём была Trusted Access for Cyber: путь для проверенных специалистов к более способным моделям для защитной работы. Логику там называли «контролируемым ускорением»: чем сильнее доступ, тем строже проверка, мониторинг и обязательства по безопасности. 30 апреля Сэм Альтман написал, что OpenAI начинает выдавать GPT-5.5-Cyber «критически важным киберзащитникам».

Первая часть серии, федеральный план, касалась государственных проверок напрямую. В резюме Shakeel, которое Zvi привёл на LessWrong 5 июня, OpenAI предлагает обязательные оценки самых способных моделей силами CAISI, федерального центра по стандартам ИИ. Роль CAISI там описана так: «проводить оценки и рекомендовать меры, а не одобрять или блокировать развёртывания». Там же OpenAI просит вытеснить законы штатов, которые регулируют те же риски передового ИИ. Пункт о государственных оценках в новом плане, судя по всему, продолжает эту линию.

Последний абзац плана адресован законодателям: «Мы призываем действовать сейчас: вводить защитные меры, учиться на опыте и ужесточать требования по мере развития технологии».