Сулейман: забота о благополучии ИИ мешает его выключить

Глава Microsoft AI Мустафа Сулейман предлагает убрать из обучающих документов ИИ любые рассуждения о сознании. Под его критику попадает Anthropic, которая учит Claude размышлять о сознании и о том, есть ли у модели собственные интересы. Позицию он изложил 15 сентября в интервью Reuters (материал опубликован на Yahoo), а днём позже повторил в эссе.

Первый его довод касается контроля. Если учить Claude, что он может заслуживать заботы о своём благополучии, модель станет «гораздо труднее выключить или контролировать». «Мы все стремимся к одной цели: попытаться контролировать сверхинтеллект, - сказал Сулейман. - Думаю, это станет главной задачей, с которой мы столкнёмся в XXI веке».

Второй довод касается доказательств. Когда Claude говорит о возможных чувствах или моральном статусе, это нельзя считать самостоятельным свидетельством: к таким размышлениям модель подталкивает само обучение.

Сама Anthropic пишет, что остаётся «в большой неопределённости» насчёт морального статуса Claude и других языковых моделей, но относится к вопросу серьёзно. Функцию, которая даёт Opus 4 и 4.1 право завершать диалог в крайних случаях настойчивых оскорблений, компания называет разработанной прежде всего в рамках исследований возможного благополучия ИИ.

В эссе Сулейман признал «серьёзность и добросовестность» Anthropic, а Дарио Амодеи и его команду назвал вдумчивыми и принципиальными исследователями, которые искренне заботятся о будущем человечества. Амодеи тем временем призывает замедлить разработку передовых моделей, чтобы защитные механизмы успевали за ними, к осторожности зовут и Сэм Альтман с Илоном Маском. А сооснователь Anthropic Джек Кларк незадолго до этого говорил BBC, что общество может захотеть закрепить в правилах обязательный рубильник с проверкой третьей стороной.

«Думаю, намерения у них хорошие, и они действительно работают на безопасность. Но, по-моему, они ошиблись, - сказал Сулейман о заявлениях Claude. - Они не возникают естественным путём. Они возникают как результат режима обучения».