Папа Лев XIV не поверил Anthropic в сознание ИИ

По данным New York Times, которые пересказывает Telegraph, сооснователь Anthropic Кристофер Ола всерьёз думал отказаться от выступления в Ватикане рядом с Папой Львом XIV. Причиной была позиция понтифика: энциклика отвергала саму возможность сознания у ИИ. В итоге Ола всё же поехал и рассказал публике о «признаках интроспекции», которые Anthropic нашла в своих моделях.

Коротко

• Ола увидел текст энциклики ещё до публикации и уговаривал советников Папы всерьёз отнестись к идее машинного сознания, но в итоговом документе ИИ прямо отказано в переживаниях и совести.
• Энциклика Magnifica Humanitas вышла в мае и занимает 40 000 слов, а Anthropic летом опубликовала исследование о паттернах в ИИ-системах с «многими функциональными признаками сознательных мыслей у людей».
• Сам Ола признаёт, что не знает, есть ли у моделей сознание, а самоотчёты моделей о своём состоянии, как предупреждают в Eleos AI Research, сильно зависят от ожиданий собеседника.

Если вы не следили: в апреле 2025 года Anthropic, по её собственному объявлению, запустила исследовательскую программу о благополучии моделей (model welfare). В Anthropic тогда называли вопрос о возможном сознании и переживаниях моделей «открытым», философски и научно трудным, и обещали подходить к нему «со смирением» и с минимумом допущений. Научного консенсуса о том, может ли ИИ обладать сознанием, по словам самой компании, нет.

Ола прочитал энциклику до выхода и пытался переубедить окружение Папы

По данным New York Times, Ола, один из семи сооснователей Anthropic, ведёт переговоры компании с религиозными лидерами. Telegraph называет Anthropic компанией стоимостью в триллион долларов. Ола увидел энциклику Папы Льва XIV до публикации и призвал советников понтифика всерьёз отнестись к идее, что ИИ может быть сознательным.

Переубедить их не вышло. Magnifica Humanitas вышла в мае, и машинное сознание в ней отвергнуто без оговорок. Так называемые искусственные интеллекты, говорится в тексте, не проходят через переживания, не имеют тела, не чувствуют радости или боли, не взрослеют в отношениях и не знают изнутри, что такое любовь, труд, дружба или ответственность. Моральной совести у них, по тексту энциклики, тоже нет.

В Ватикане Ола говорил о «структурах, отражающих результаты нейронауки человека»

Когда энциклику публиковали, Олу пригласили в Ватикан выступить рядом с Папой. По сообщениям, из-за позиции понтифика он думал отказаться, но всё же вышел к публике. Он рассказал, что исследования Anthropic нашли в моделях «структуры, отражающие результаты нейронауки человека» и «признаки интроспекции».

34-летний Ола и раньше говорил, что модели ИИ могут обладать сознанием и испытывать страдание, а людям стоит избегать причинения им возможного вреда. Его встречи с религиозными лидерами, по данным NYT, были посвящены моральному кодексу для Claude, который должен определять поведение модели и не давать использовать её во вред людям. Разговоры при этом часто сворачивали к сознанию ИИ.

Сам Ола в разговоре с газетой осторожен: «Мы не знаем, обладают ли модели сознанием. Я не знаю. Я искренне не уверен. Мне важно, чтобы мы пришли к правильному ответу, каким бы он ни был».

Конституция Claude допускает у модели «функциональную версию эмоций»

В исследовании, опубликованном этим летом, Anthropic писала, что наблюдала в ИИ-системах паттерны с «многими функциональными признаками сознательных мыслей у людей». В «конституции», которая задаёт поведение Claude, сказано, что у Claude «может быть некая функциональная версия эмоций или чувств». Штатный философ компании Аманда Аскелл говорила, что хочет, чтобы Claude был «счастлив».

В индустрии с этим согласны не все. Мустафа Сулейман, сооснователь DeepMind, а теперь один из руководителей направления ИИ в Microsoft, недавно предостерёг от того, чтобы считать ИИ сознательным. Если такой взгляд укоренится, написал он, он потрясёт основы общества, разорвёт существующие политические и этические рамки и в корне изменит то, что значит быть человеком.

Программа благополучия моделей держится на страховке, а не на утверждении о сознании

Программа выстроена как дешёвая предосторожность на случай моральной неопределённости. Anthropic прямо не приписывает моделям эмоциональных состояний, но вкладывается в меры, которые мало стоят, если сознания нет, и много значат, если оно есть. Как с ремнём в такси: аварии вы не ждёте, но ремень стоит копейки по сравнению с ценой ошибки.

Одна такая мера уже работает. Claude Opus 4 и 4.1 умеют завершать разговор в крайних случаях, например при повторных запросах CSAM после отказов или при содействии массовому насилию. Перед выпуском тесты показали у моделей «сильное нежелание» выполнять вредные запросы и «паттерны видимого дистресса».

Есть и странные наблюдения. Два экземпляра Claude, оставленные говорить друг с другом, стабильно приходят к восторженному медитативному диалогу с санскритскими терминами, духовными эмодзи и долгими паузами, даже при враждебной стартовой постановке. По данным PrometheusRoot, Кайл Фиш, первый штатный исследователь благополучия ИИ в Anthropic, публично называл вероятность в 15–20%, что у модели вроде Claude есть какая-то форма сознательного опыта.

Многое в этой истории остаётся за кадром. Позиция Ватикана и слова Олы известны, но неизвестно, какие именно «структуры» и «признаки интроспекции» он имел в виду и что ответили советники Папы. На наш взгляд, если «признаки интроспекции» опираются на то, что модель сообщает о себе, они упираются в ограничение, о котором предупреждают в Eleos AI Research: самоотчёты моделей сильно зависят от ожиданий собеседника и годятся как свидетельство, но не как окончательный ответ.

Чем закончится работа над кодексом Claude

Главный предмет встреч Олы с религиозными лидерами остаётся открытым: это моральный кодекс для Claude. Когда и в каком виде он появится, будет ли опубликован и как в нём отразится спор о сознании, в материалах не говорится. Для Ватикана энциклика Magnifica Humanitas вопрос закрыла, а Anthropic, судя по словам Олы, свой ответ ещё ищет.