Перейти к содержанию

OpenAI

OpenAI связала кампанию по дистилляции с Moonshot AI

4 мин чтения

Текст написан ИИ-моделью по источникам, на которые ведут ссылки, и сверен с ними второй моделью. Как мы работаем

Всё о теме: OpenAI: модели и продукты →
Изображение: openai.com

OpenAI пресекла кампанию по вытягиванию скрытых рассуждений из своих моделей и 30 сентября приписала её ядро людям, связанным с Moonshot AI, разработчиком Kimi. Шифрование при этом не взламывали, базы данных не компрометировали и прямого доступа к сохранённым разговорам пользователей не получали: операторы так выстраивали общение с моделью, что она выдавала защищённые рассуждения в видимом отправителю виде, причём массово и в нарушение условий использования.

Защищёнными OpenAI называет рассуждения, которые модель ведёт по ходу задачи и в ответ не выводит. Вытянутые наружу, они могут выдать то, что из ответа убрали, и помочь воспроизвести возможности модели, а учить на них чужую модель можно, не перенося защитных ограничений с ответов оригинала. Активность укладывается в картину враждебной дистилляции: систематического и несанкционированного использования ответов или рассуждений одной модели, чтобы обучить, воспроизвести или улучшить другую.

Расшифровка в другом разговоре

Один из приёмов OpenAI называет новым: зашифрованные рассуждения копировали из одного разговора, а в другом просили модель расшифровать и переписать скрытое содержимое. Независимые исследователи безопасности по правилам ответственного раскрытия сообщили компании о родственных уязвимостях: межмодельных и связанных со сжатием разговора, когда длинную историю ужимают, чтобы она уместилась в контекст. OpenAI проверила их находки и подтвердила, что пути атаки реальны.

Первые запросы пошли 1 июля, поначалу понемногу. Всплеск случился 24 и 25 июля: 16 000 запросов с характерным шаблоном извлечения от более чем 4000 пользователей. По родственным шаблонам OpenAI вышла на кластер из более чем 15 000 пользователей и к 28 июля, через три дня после всплеска, пресекла его активность полностью.

Пост вышел через два с лишним месяца после этого: до публикации OpenAI оценила масштаб и возможные последствия, развернула свои меры защиты и обсудила их с исследователями и партнёрами по индустрии.

Кому приписали ядро

Людям, связанным с Moonshot AI, OpenAI приписывает только ядро активности: были ли все замеченные за этот период операторы одним игроком, компания сама называет неясным.

Anthropic раньше обвиняла в похожем саму Moonshot: насчитала за ней больше 3,4 миллиона обменов с Claude через сотни мошеннических аккаунтов и утверждала, что на позднем этапе Moonshot пыталась извлечь и восстановить ходы рассуждений Claude. Связь с компанией она тогда установила по метаданным запросов, совпавшим с публичными профилями старших сотрудников Moonshot. А в отчёте от 10 сентября Anthropic обвинила китайские лаборатории в том, что те месяцами вытягивали из Claude цепочки рассуждений, и Moonshot, по этому отчёту, скрытно направляла запросы пользователей Kimi в Claude.

Что закрыли и что нет

Мошеннические аккаунты OpenAI заблокировала или ограничила, ужесточила контроль при регистрации и на уровне инфраструктуры и расширила мониторинг связанных сетей. Защиту скрытых рассуждений усилили между пользователями, рабочими пространствами, организациями и семействами моделей, а потоковый вывод, который может раскрыть рассуждения, теперь отлавливают и придерживают. Когда активность шла через сторонние сервисы, компания вместе с их провайдерами вычисляла и отключала причастные аккаунты. Уязвимость к такой манипуляции есть не только у моделей OpenAI, и находки компания передала через Frontier Model Forum и государственные каналы обмена информацией, чтобы другие разработчики и партнёры из госсектора искали похожую активность у себя.

Закрыли и путь, по которому тот, у кого на руках оказались чужие зашифрованные рассуждения, мог воспроизвести их и восстановить содержимое. Участник форума разработчиков OpenAI уже спрашивал, сможет ли другая организация воспроизвести переданное ей содержимое ответа и используют ли при шифровании соль или сертификат на каждую организацию.

Системы, где артефакты рассуждений можно переносить или воспроизводить, могут столкнуться с похожими рисками, предупреждает OpenAI. Переносимые рассуждения есть и в её собственном API: клиенты Responses API с правом на нулевое хранение данных (Zero Data Retention), как описано в кукбуке OpenAI, могут передавать рассуждения из запроса в запрос, и на серверах компании те не хранятся. Зашифрованный текст приходит в поле encrypted_content, а в следующие ходы его подкладывает во входные данные сам разработчик, если ведёт контекст разговора вручную.

Дальше OpenAI дорабатывает защиту инструментов, охват классификаторов и отказы моделей и распространяет нужные меры на облачных партнёров. Работа при этом не закончена: развёртываниям у партнёров нужна та же защита, что и собственным сервисам, а против атак через вывод инструментов мало проверять обычный видимый текст.

OpenAIOpenAI

Хо из OpenAI: 99,99% точности мало для чипа Jalapeño

Логика не влезала в кристалл Jalapeño, и инженеры OpenAI отдали задачу внутренним моделям без дообучения. Те в одном случае срезали больше 13% площади, но сдавать чип в производство им всё равно не доверяют.

Пока никто не написал. Будьте первым.

Присоединяйтесь к разговору

Войдите, чтобы оставить комментарий. Он появится после модерации.