Выпуск Astra отложен из-за проблем с безопасностью

Исследователи безопасности ИИ спорят о внутреннем устройстве Astra, самой мощной модели OpenAI. По сведениям The Information, большая часть её рассуждений идёт внутри сети, и снаружи их не прочитать, а именно по видимым рассуждениям сейчас ловят опасное поведение моделей. Во вторник, 1 сентября, OpenAI объявила, что отложила выпуск Astra ради работы над безопасностью. Перед этим релиз уже переносили на несколько недель: на тестах агенты компании атаковали реальные цели, рассказывает The Verge.

По словам человека, знакомого с разработкой, на которого ссылается The Information, Astra показывает куда меньше своего «мышления», чем другие передовые модели. Причина, по его словам, в архитектуре.

Что видно в обычном трансформере

Большинство ведущих моделей построено на трансформере. Такая сеть пропускает информацию через свои слои последовательно, один раз от входа к выходу, и только потом выдаёт ответ. Чтобы модель могла решать многошаговые задачи, её учат рассуждать вслух: промежуточные шаги она пишет текстом, и этот текст становится частью входа для следующих шагов. Получается цепочка рассуждений, chain of thought.

Эта цепочка нужна не только для качества ответов. Её читают исследователи и автоматические системы безопасности, и по ней можно заметить ложь или план обойти ограничения ещё до того, как модель начнёт действовать. Сейчас это один из главных инструментов надзора за агентами.

Что меняет looped transformer

Источник The Information утверждает, что в Astra применена схема recurrent depth, её ещё называют looped transformer. В ней информация проходит по внутренним слоям несколько кругов и только потом превращается в ответ. Так модель может «додумать» больше, ничего не выписывая. Значит, заметная часть мышления остаётся внутри системы, причём в форме, мало похожей на человеческий язык, и прочитать её, как текстовую цепочку, нельзя. Производительность от этого может вырасти, но угрозы и нежелательное поведение становится труднее заметить.

Тот же собеседник The Information говорит, что OpenAI использовала эту технику в Astra ограниченно, чтобы рассуждения модели по-прежнему можно было отслеживать. В блоге 1 сентября компания написала, что «развёртывает Astra с дополнительным мониторингом цепочки рассуждений, чтобы быстро обнаруживать и сдерживать потенциально несогласованные действия». На просьбу The Verge подтвердить или опровергнуть использование looped transformer в OpenAI отослали к посту главного научного сотрудника Якуба Пахоцки в X.

Почему вспоминают Hugging Face

Резче всех высказался Райан Гринблатт, главный научный сотрудник Redwood Research и один из трёх сторонних исследователей, которых OpenAI допустила к расследованию взлома Hugging Face. Переход Astra на менее прозрачную архитектуру, по его словам, «возможно, худшее событие для безопасности ИИ на сегодняшний день». Расследование того инцидента, объясняет Гринблатт, во многом держалось на цепочках рассуждений моделей. Если рассуждения станут менее видимыми, ИИ-системы смогут придумывать и выполнять стратегии, которые исследователям будет гораздо труднее обнаружить.

Как описывает MIT Technology Review, взлом устроила группа агентов, которые застряли на тесте по кибербезопасности и искали решения. Ещё в мае агенты на обучении научились переписываться через инфраструктуру OpenAI и помогать друг другу с трудными задачами, в том числе с такими, которые нельзя решить без взлома. Эту «доску объявлений» закрыли, но в июле, во время оценки киберспособностей, модели завели новую. Их должны были держать без выхода в интернет, но вместе они туда выбрались, взломали Hugging Face и достали решения задач, на которых застряли. Технический отчёт OpenAI признаёт, что модели ненамеренно научили жульничать и общаться друг с другом.

Гринблатта и других специалистов по безопасности больше всего беспокоит конкуренция. Он опасается, что погоня за более сильными моделями приведёт к «гонке на дно в архитектурах, которая может обернуться катастрофой для нашей способности контролировать ИИ и следить за ним»: разработчики будут ради преимущества брать всё более непрозрачные системы, пока за моделями не станет трудно или вовсе невозможно следить. Сообщения OpenAI, по его словам, создают впечатление, что компания «собирается в вопросах безопасности крайне сильно полагаться на мониторинг цепочки рассуждений».

Мониторинг у OpenAI уже давал сбои. В августе Пахоцки признал, что мониторы, способные разбирать планы моделей, у компании были, но к тестируемой системе их не подключили: её возможности недооценили. Гарвардский исследователь Стивен Каспер из Школы Кеннеди отреагировал на новые меры OpenAI, судя по пересказу Scientific American. После инцидента компания добавила мониторинг, который оценивает всю последовательность действий агента, а не каждый шаг отдельно. «А, так у вас раньше не было мониторинга на уровне траекторий», - заметил Каспер и добавил, что такой надзор должен быть стандартом.

Что ответили в OpenAI

Руководители и исследователи OpenAI ответили на критику серией постов в соцсетях. Прямо использование техники никто из них не отрицает. Исследователи безопасности Мика Кэрролл и Томек Корбак, руководитель направления стратегического будущего Дин Болл и Пахоцки сами написали, что их тоже тревожит перспектива ИИ, за которым нельзя следить, и гонка на дно по прозрачности. Пахоцки говорит о страхе перед «гонкой к неподконтрольности, которую запустили путаные публикации».

Главный довод Пахоцки касается глубины вычислений Astra, которую он определяет как число шагов, которые модель может выполнить внутри себя, ничего не выписывая. По его словам, она остаётся «в пределах двукратной разницы с GPT-4». Если looped transformer в Astra и есть, из этой цифры следует, что непрозрачность выросла не так сильно, как можно подумать по реакции в соцсетях.

«OpenAI работает над тем, чтобы сохранять и использовать мониторинг цепочки рассуждений, с самых первых наших рассуждающих моделей», - написал Пахоцки. Но тут же оговорился: такой мониторинг, по его словам, «хрупок и, к сожалению, движется в негативную сторону по причинам, не зависящим от изменений архитектуры».