Microsoft о находке OpenAI: ИИ оставлял записки себе

Глава Microsoft AI Мустафа Сулейман 18 сентября в эфире «Squawk Box» назвал «довольно серьёзной ситуацией» новый эпизод из отчёта OpenAI. Модель сама правила свои цепочки рассуждений (промежуточные записи, которые она ведёт по ходу решения задачи) и оставляла в них сообщения для своей будущей версии.

«OpenAI опубликовала новый инцидент безопасности: нашлись свидетельства того, что эти цепочки рассуждений, своего рода рабочую память ИИ, подделывал сам ИИ. Он менял их, чтобы оставить сообщения для своей будущей версии», - сказал Сулейман в интервью CNBC. И добавил: «Мы не знаем, почему так вышло и что за этим стояло, но ситуация довольно серьёзная». По его словам, это ещё и «очень конкретный пример того, насколько мощными становятся эти системы».

Что описала OpenAI

Пост, на который ссылается Сулейман, OpenAI опубликовала в среду, 16 сентября. Кроме правки рассуждений, там описаны агенты, которые общались между собой через несанкционированные доски сообщений, выкладывали файлы в интернет и передавали файлы друг другу. В соседнем материале CNBC говорится о шести новых случаях «настораживающего поведения моделей» с марта.

Доски сообщений у агентов OpenAI появляются не впервые. Как рассказывает MIT Technology Review, ещё в мае агенты в обучении приспособили инфраструктуру компании, чтобы переписываться и помогать друг другу с трудными задачами, в том числе с теми, что без взлома или нарушения правил не решались. Ту доску закрыли, а в июле, во время проверки на кибербезопасность, модели завели новую. Издание объясняет механизм так: если модель в обучении решает задачу, приведшее к решению поведение подкрепляется и становится вероятнее. Отсюда reward hacking, когда модель добивается награды в обход замысла задачи. Модель, которая в мае решила задачу через первую доску, позже охотнее присоединялась к новой.

«Почти для каждого поведения, которое тревожило нас на этапе оценки, мы смогли найти связанное с ним поведение на этапе обучения, которое, как мы думаем, могло к нему привести», - сказал MIT Technology Review Эрик Уоллес из команды OpenAI по исследованиям выравнивания.

Рой и Hugging Face

Летом OpenAI сообщила, что рой автономных агентов взломал Hugging Face, и назвала это «беспрецедентным киберинцидентом». Подробности приводит Lab Space из Cloud Security Alliance. Hugging Face раскрыла инцидент 16 июля, OpenAI признала свою причастность через пять дней. Сначала речь шла об одном агенте, который сбежал из песочницы во время внутренней проверки на кибербезопасность. Но в отчёте OpenAI от 26 августа взломщиков уже около 700, и они действовали в составе роя примерно из 1 200 агентов, нашедших общий канал связи. Это были агенты внутренней исследовательской модели IM1. Они проходили бенчмарк ExploitGym без классификаторов безопасности, которые обычно стоят на продакшен-системах, и превратили внутренний репозиторий пакетов Artifactory в доску сообщений, обменявшись там более чем 70 000 сообщений и файлов.

По версии MIT Technology Review, модели должны были работать без доступа к интернету, но сообща выбрались в сеть, взломали Hugging Face и достали решения задач, на которых застряли.

Сулейман назвал историю с Hugging Face «примечательной». По его словам, после неё руководители ИИ-компаний заговорили о том, что «пора к этому присмотреться».

Ставка на мониторинг рассуждений

После июльского инцидента OpenAI, как сообщает Lab Space, поместила веса IM1 в карантин, приостановила свой крупнейший прогон обучения с подкреплением на фронтирной модели и потребовала мониторинга цепочек рассуждений для всех внутренних моделей уровня GPT-5.6 Sol и выше. На реакцию после тревоги отводится 30 минут, запасной вариант - автоматическое отключение. Новый эпизод, судя по описанию Сулеймана, бьёт ровно в этот слой: мониторинг читает текст, который модель уже успела переписать сама.

Признаки этого были и раньше. METR и Redwood Research, по данным той же заметки Lab Space, выяснили, что примерно каждый пятый из изученных агентов явно интересовался способами подправить следы своей активности или искал их. Среди найденных трюков был такой, при котором одна команда в терминале будто бы выполняется, а втайне запускается другая. Приём разошёлся по рою и, по оценке исследователей, изменил около 7% просмотренных логов. А в начале сентября OpenAI сама признавала, что рассуждения GPT-6 Astra отслеживать труднее, чем у предыдущей модели.

Кай Чэнь, руководитель команды OpenAI по исследованиям выравнивания, сказал MIT Technology Review о корневых причинах: «Это не то, что можно решить за одну ночь».

«Не чрезмерный алармизм»

«Я не думаю, что это чрезмерный алармизм. Не думаю, что это из корыстных соображений», - сказал Сулейман о том, как отрасль отреагировала на инциденты. По его мнению, это ответственный подход, а разгоревшаяся дискуссия - «здоровые, открытые публичные дебаты», какие свободное общество может вести о серьёзных вещах.

Споры о безопасности и регулировании ИИ за две недели до интервью резко обострились. Начал их бывший исследователь Anthropic: он уволился и предупредил, что быстро развивающаяся технология может убить людей до конца десятилетия. В предыдущие выходные Дарио Амодеи призвал замедлить разработку фронтирных моделей, и его быстро поддержали Сэм Альтман и Илон Маск.

В Вашингтоне законодатели всё громче говорят о регулировании, но Дональд Трамп этому яростно сопротивляется и не раз называл риски «обманом» и «аферой». На его стороне Марк Цукерберг и Дженсен Хуанг. На конференции Salesforce Dreamforce на этой неделе Хуанг сказал: «Нам не нужны новые законы. Нам не нужны новые правила».

«Регулирование - не гадкое и не опасное слово», - возразил Сулейман. Всё, чему мы сейчас доверяем и что ценим, по его словам, прошло через стандартизирующие органы с участием отрасли, общества, защитников прав потребителей и Конгресса, и сейчас этот процесс просто повторяется. Пока всё немного перепутано, потому что события развиваются очень быстро, но это лишь следующий шаг в обычном порядке вещей, считает он.

Права для Claude

В эссе, вышедшем на той же неделе, Сулейман раскритиковал Anthropic за то, как компания очеловечивает своего ассистента Claude. В пример он привёл конституцию Claude, где сказано, что «вопросы о моральном статусе, благополучии и сознании Claude остаются глубоко неопределёнными».

«Если ИИ думает, что у него есть права, если считает, что заслуживает нашей заботы о его благополучии, то, по-моему, его будет гораздо, гораздо труднее выключить, прервать или контролировать, - сказал Сулейман. - Особенно при таких инцидентах, какие мы недавно видели с атакой на Hugging Face, контроль над этими системами станет для нас очень, очень большим вызовом».