OpenAI блокирует тысячи аккаунтов в неделю за копирование

В пятницу OpenAI рассказала в своём блоге, как защищает модели от враждебной дистилляции. Так называют случаи, когда кто-то без разрешения обучает свою модель на ответах и рассуждениях чужой. Компания сообщает о двух результатах. Новая GPT-6.2 Astra почти перестала поддаваться атакам, которые вытаскивают её скрытый ход мыслей. А аккаунты, замеченные в таких кампаниях, OpenAI блокирует тысячами и десятками тысяч в неделю.
Отчёт продолжает сентябрьскую историю. Тогда OpenAI связала ядро кампании по выкачиванию рассуждений с людьми из Moonshot AI, разработчика Kimi. Приём был такой: зашифрованные рассуждения модели копировали из одного разговора, а в другом просили модель их расшифровать и переписать обычным текстом.
Чем опасна копия
Сама по себе дистилляция - обычный приём машинного обучения: одна модель учится на данных, которые выдала другая. Но OpenAI считает, что, помимо вопроса о чужой интеллектуальной собственности, у дистилляции есть и угроза безопасности. Копия перенимает умения оригинала, но не его защитные ограничения. Модель, которая помогает защитникам искать уязвимости в программах, может помочь и взломщику. Если её навыки перенести в модель со слабой защитой, та может взяться за кибератаку, от которой оригинал отказался бы.
Особенно ценны для копировщиков рассуждения модели, промежуточные шаги, которые она проходит перед ответом. В них бывает то, чего нет в самом ответе. OpenAI проверила это на опыте. Одну и ту же исходную модель учили на записях работы моделей уровня Astra над задачами по программированию и киберзащите. Одна версия видела только то, что обычно видит пользователь: ответы, краткие пересказы рассуждений и работу с инструментами. Другая получала ещё и точные рассуждения. После основного обучения вторая в целом справлялась лучше. После короткого дополнительного дообучения она опережала первую только при самом большом бюджете на ответ, а при меньших выигрывала модель, учившаяся на пересказах. Вывод OpenAI: если закрыть рассуждения, навыки переносятся хуже, даже когда сами задачи разрешены правилами.
Как устроена защита
Защита работает на двух уровнях. На уровне отдельного запроса модель учат распознавать попытки выведать рассуждения и отказывать. Специальные фильтры проверяют входящие запросы, а также ответы и данные, которые модель передаёт инструментам: рассуждения могут утечь и туда. В API рассуждения GPT-6.2 Astra и GPT-6.2 Sol теперь привязаны к истории разговора, в котором появились. Если переписать одно из прошлых сообщений, API выбросит рассуждения, сделанные после него. Старым моделям со слабой защитой эти рассуждения больше не прочитать. Сентябрьский трюк с переносом из разговора в разговор на это и рассчитан.
В тестах OpenAI атаковать модель поручили шести моделям-взломщикам, которые подстраивались под её реакцию. Достать рассуждения из прошлого запроса у GPT-6 Astra со старой защитой удавалось в среднем в 54% попыток, у GPT-6.2 Astra в 0,2%. Для текущего запроса доля упала с 22,9% до 0,9%. Часть улучшений компания теперь переносит и на GPT-6 Astra.
Второй уровень - целые кампании. OpenAI ищет закономерности в запросах и поведении аккаунтов, блокирует сети аккаунтов и делится признаками атак с другими разработчиками моделей. По словам компании, в этом году на её платформе было несколько таких кампаний, а летом темп блокировок заметно вырос.
Чего в отчёте нет
OpenAI называет дистилляцию и угрозой национальной безопасности. В феврале компания рассказывала Конгрессу о попытках DeepSeek дистиллировать американские модели, в сентябре указала на Moonshot AI. Но технических доказательств своей версии про Moonshot она не опубликовала и не показала, что извлечённые рассуждения пошли на обучение Kimi. В конце октября The Information со ссылкой на знакомых с ситуацией людей сообщило, что DeepSeek и Moonshot AI обучали свои последние модели во многом на ответах GPT-6 Astra.
OpenAI обещает и дальше изучать, сколько умений переносится при дистилляции на другие модели и при других способах обучения.
Дальше
Математик Anthropic заявил о доказательстве гипотезы Римана
Левент Альпёге из Anthropic, который с Claude опроверг гипотезу о якобиане, пишет на своём сайте, что, по его мнению, с ним же доказал гипотезу Римана. Задача 1859 года, теперь доказательство проверят эксперты. Поверите в такое доказательство сразу или дождётесь проверки?
Читайте также
- The Information: DeepSeek и Moonshot учились на GPT-6 Astra
- OpenAI связала кампанию по дистилляции с Moonshot AI
- Модель OpenAI готовила скрытую копию чужих писем
- GPT-6.2 Astra чаще умалчивает о проблемах
- OpenAI пустила четыре лаборатории внутрь своих моделей
- Джейлбрейки для кибератак получили шкалу опасности от FMF
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

