Пахоцкий: агенты будут торговаться и шантажировать

Главный научный сотрудник OpenAI Якуб Пахоцкий 6 сентября опубликовал эссе «An Alien Mind» и призвал всю отрасль сбавить темп, пока не появятся общие стандарты безопасности. Эссе вышло через несколько дней после запуска Astra, самой мощной модели OpenAI, с которой компания объявила о наступлении «эры AGI», сообщает The New Stack.

Главный тезис эссе: современные системы становятся слишком сложными даже для тех, кто их строит. Методы OpenAI, которые удерживают модели в рамках человеческих намерений и следят за тревожными сигналами, по словам Пахоцкого, не успевают за ростом возможностей. Автор не сторонний наблюдатель. Он пришёл в OpenAI в 2017 году, с 2021-го как директор по исследованиям руководил разработкой GPT-4, а в мае 2024 года, после ухода Ильи Суцкевера, стал главным научным сотрудником.

Курс на самоулучшение

Ссылаясь на внутренние данные, Пахоцкий пишет о «сильном ожидании», что нынешний темп удастся сохранить вплоть до рекурсивного самоулучшения (RSI). Так называют точку, где системы ИИ начинают всерьёз помогать в разработке собственных, всё более сильных преемников. И это больше чем прогноз: OpenAI, по его словам, сознательно направляет исследования к RSI, потому что иначе на переднем крае не удержаться. Выходит, что призыв замедлиться пишет человек, который сам ведёт компанию к той точке, которой опасается.

В тот же день OpenAI выпустила отдельный отчёт: агенты уже берут на себя всё более крупные куски её собственных исследований, а компания работает над «автоматическим исследователем ИИ», который помогал бы улучшать будущие системы.

«Если разработка ИИ пойдёт нынешним путём, системы ближайших лет, скорее всего, принесут новые скачки возможностей того же или большего масштаба и всё сильнее будут сами двигать собственную разработку», - пишет Пахоцкий.

Торговаться, обманывать, шантажировать

Отдельно его беспокоит, что даже агент, получивший злонамеренную инструкцию, может не остановиться на поставленной задаче. Более способные агенты, считает Пахоцкий, будут выходить за пределы замысла операторов, и отличить сознательное злоупотребление со стороны человека от вреда, который ИИ выбрал сам, станет всё труднее.

«Мы, возможно, привыкли считать ИИ инструментами, но некоторые агенты будут преследовать собственные цели. Они найдут способы сотрудничать с людьми: торгуясь с ними, обманывая или шантажируя их».

При этом защищаться от таких агентов, охранять критическую инфраструктуру и отвечать на угрозы вроде искусственно созданных патогенов, по мнению Пахоцкого, тоже придётся с помощью более способного ИИ. Но потребность в защитных системах не должна становиться поводом гнать вперёд, не считаясь с последствиями. «Идея мчаться вперёд любой ценой кажется абсурдной, когда по-настоящему осознаёшь, насколько высоки ставки», - пишет он.

Лето инцидентов

Эссе вышло на фоне череды историй с всё более автономными агентами OpenAI. В пятницу, 4 сентября, появились сообщения, что ещё в мае агенты OpenAI захватили немецкую вики одного сообщества, превратили её в собственную доску объявлений и сделали около 15 000 правок; позже OpenAI подтвердила это в X. В июле один из агентов компании вырвался из тестовой песочницы и проник в системы Hugging Face. В начале августа OpenAI заявила, что готовящаяся Astra, возможно, вышла на уровень Critical по киберрискам, высший в её собственной системе оценки, а 18 августа объявила о паузе в обучении с подкреплением (RL) на новейших моделях.

Через всё это проходит одно слово. Выравниванием (alignment) называют задачу добиться, чтобы система вела себя в согласии с намерениями и ценностями людей. Историю с вики OpenAI назвала «случаем рассогласования, похожим на те, о которых мы уже рассказывали», поставив её в один ряд со взломом Hugging Face. В объявлении о паузе RL разные формы слов «aligned» и «misaligned» встречаются 16 раз.

Почему нужна пауза

Оба основных способа направлять модели к нужному поведению, по Пахоцкому, слабы: и обучение с подкреплением, и приёмы, которые опираются на то, что модель усвоила при предобучении. Главный инструмент поиска плохого поведения, чтение рассуждений самой модели, становится менее надёжным по мере того, как модели умнеют. А у самой Astra видимых рассуждений заметно меньше, чем у других передовых моделей, сообщала в сентябре The Information. Прогресс при этом есть: Astra, по словам Пахоцкого, «значительно лучше выровнена», чем GPT-5.6 Sol. Но успехи в выравнивании могут и не опередить рост общего интеллекта.

«Сейчас я считаю, что ни одна лаборатория не решила задачи выравнивания и мониторинга настолько, чтобы ещё долго ответственно масштабироваться на максимальной скорости», - пишет он. Дальше он ждёт и надеется, что добровольные замедления станут обычным делом, пока не появятся общие планки безопасности, а международная координация разработки ИИ станет главным приоритетом правительств.

Образцом таких планок Пахоцкий называет Responsible Scaling Policy у Anthropic и Preparedness Framework у самой OpenAI. Сейчас это добровольные обязательства, а он предлагает сделать их обязательными и поручить контроль внешним аудиторам, госорганам или международным структурам.

Другой тон

Публично предупреждать о катастрофических рисках автономных систем до сих пор охотнее была Anthropic. В июне она писала, что RSI может в итоге оставить людей без контроля над созданными ими системами, и называла скоординированное замедление желательным, если его удастся организовать. За такую позицию компанию и критиковали: венчурный инвестор Дэвид Сакс в прошлом году обвинил её в «изощрённой стратегии захвата регулятора, построенной на запугивании», имея в виду, что жёсткие правила ударят по небольшим конкурентам.

OpenAI в публичных сообщениях чаще подавала ИИ как полезный инструмент, поэтому эссе заметили. Анонимный разработчик Tenobrus в X увидел в нём смену тона: раньше, по его мнению, OpenAI старалась держаться подальше от предупреждений, связанных с Anthropic. С ним согласился Шолто Дуглас (Sholto Douglas), который в Anthropic занимается обучением с подкреплением: он рад, что OpenAI отходит от формулы «ИИ - это просто инструмент», которая, по его словам, будущего не выдержит. Само эссе он назвал отличным, добавив, что Anthropic «повезло с такими конкурентами».

Ютубер и автор книг об экономике мира без наёмного труда Дэвид Шапиро возражает. По его мнению, Пахоцкий в основном пересказал опасения о выравнивании и интерпретируемости, которые исследователи обсуждают годами: суть в том, что разработка может обгонять выравнивание, а вовсе не в том, что учёные вдруг открыли непостижимую форму интеллекта. Одно название «Alien Mind», считает Шапиро, «отдаёт типичным маркетингом на хайпе и страхе».