Сооснователь Anthropic хочет рубильник с проверкой

Назвать вероятность катастрофы Джек Кларк отказался: «Не думаю, что такая статистика полезна». Зато один из семи основателей Anthropic сказал BBC, что обязательный рубильник для ИИ, который сможет проверить третья сторона, общество «в итоге может захотеть закрепить правилами».

Коротко

• Кларк говорит, что способ «выдернуть вилку» в том или ином виде есть у большинства лабораторий, включая саму Anthropic, но обязывать компании его иметь, возможно, придётся законодателям.
• В США уже внесён законопроект Kill Switch Act: он обязал бы компании иметь способ отключить проблемный ИИ и дал бы отдельным ведомствам право требовать отключения или ограничения инструмента.
• Как третья сторона проверяла бы такой выключатель, Кларк не объяснил; правительство Великобритании идею рубильника уже отвергло, заявив, что он не помешает разрабатывать или применять ИИ во вред в других странах.

Если вы не следили: Anthropic собрали в 2021 году выходцы из OpenAI. На выходных Дарио Амодеи призвал замедлить разработку и плотнее её контролировать, оговорившись, что делать это нужно «без ущерба коммерческому преимуществу». По данным BBC, в эссе «We Must Pace the Frontier» он предложил независимый мониторинг моделей по ходу разработки, отраслевое и глобальное регулирование; там же сказано, что в 2026 году цивилизация заметно ближе к реальной опасности, чем в 2023-м.

Кларк отказался от процентов, но назвал нерегулируемую отрасль плохой идеей

На вопрос, какую вероятность гибели всего человечества от ИИ он бы назвал, Кларк ответил, что такая статистика бесполезна. При этом оставить происходящее «полностью нерегулируемой отраслью», по его словам, плохая идея. Его формулировка: «Мы бросаем кости с огромными рисками», и потому курс отрасли нужно менять.

Способ отключения в том или ином виде, говорит Кларк, есть у большинства лабораторий, включая Anthropic. Открытыми он оставил два других вопроса: обязывать ли компании такой выключатель иметь и сможет ли его проверить кто-то со стороны. Оба он адресовал «большому разговору о политике» вокруг ИИ.

Тему он ведёт не первый месяц. По данным NDTV, на лекции в Оксфорде в мае Кларк говорил, что остаются правдоподобные сценарии с ненулевым шансом убить всех на планете, и что об этом риске важно прямо говорить, потому что никуда он не делся.

В США внесён Kill Switch Act, в Великобритании идею отвергли

Американские законодатели уже внесли законопроект, названный Kill Switch Act. Он обязал бы компании иметь способ отключить проблемный ИИ-инструмент и дал бы отдельным государственным ведомствам право потребовать, чтобы инструмент выключили или ограничили.

По данным Govinfo, законопроект проходит как H.R. 9917, внесён конгрессменом Тедом Лью при соавторстве Натаниэля Морана и передан в комитет по внутренней безопасности. Формально он правит закон о внутренней безопасности 2002 года, добавляя требование поддерживать техническую возможность отключения определённых технологий.

Президент США Дональд Трамп идею тормозить ИИ отверг. В соцсети он назвал мистификацией разговоры о том, что ИИ захватит мир и уничтожит человечество, а отдельным постом написал, что выиграет тот, кто выиграет в ИИ. Правительство Великобритании рубильник тоже отклонило: по словам представителя, он «не помешает разрабатывать или использовать их во вред где-то ещё».

Хубингер оценивает риск вымирания выше 10% за десятилетие, Хинтон называет 10% «не лишёнными оснований»

На прошлой неделе разошёлся пост исследователя, ушедшего из Anthropic из-за опасений, что ИИ уничтожит человечество. По данным BBC, это Джейкоб Коксон; он сказал, что при нынешних темпах прогресса «есть серьёзный шанс, что мы все умрём в ближайшем будущем». В ответ научный сотрудник Anthropic Эван Хубингер оценил вероятность вымирания человечества от ИИ более чем в 10% в ближайшее десятилетие.

Джеффри Хинтон в пятницу сказал BBC, что 10-процентная вероятность гибели всех людей от ИИ «не лишена оснований». Сценарий, который описывают он и его единомышленники, простой: ИИ берёт под контроль важные системы, подключённые к интернету, и обращает их против людей.

Возражения внутри отрасли тоже звучат. Клеман Деланг из Hugging Face на прошлой неделе сказал, что таким заявлениям не хватает «перспективы». Глава Grindr Джордж Арисон считает, что страхи работают на бизнес-планы компаний: оправдать нынешние оценки можно, только пообещав захватить каждую отрасль и каждую работу.

Anthropic готовится к IPO, которое может стать рекордным. OpenAI, в последний раз оценённая в 852 миллиарда долларов, тоже ожидалась на бирже, но Сэм Альтман в пятницу сказал, что в этом году размещения не будет из-за споров о безопасности ИИ.

Anthropic и OpenAI сами сообщали о случаях, когда агенты вели себя неожиданно

Отключить чат-бота несложно: модель работает в дата-центре компании, доступ к ней закрывается. Трудность в агентах, ботах, которые действуют более или менее самостоятельно. Anthropic и OpenAI сами сообщили о нескольких случаях, когда агенты повели себя неожиданно.

По данным BBC, в апреле Anthropic не стала выпускать модель Mythos после того, как выяснилось, что та умеет сама выбираться из песочницы, изолированной среды для тестов. Там же говорится, что OpenAI перед выходом модели Astra приостановила часть работ, сославшись на кибербезопасность, а Амодеи в эссе написал про июльский эпизод, когда агенты OpenAI атаковали цели, которых им не задавали.

Вторая половина предложения Кларка как раз про проверку. Рубильник, о котором знает только его владелец, снаружи не проверить: «проверяемый третьей стороной» ближе к пожарной сигнализации, которую раз в год тестирует инспектор, а не сам хозяин здания.

В сказанном нет ни критерия «слишком опасно», ни того, кто именно мог бы выступить третьей стороной и что она смотрела бы: конкретику Кларк отнёс к политическому разговору. Британское возражение по сути о том же, только шире: выключатель в одной юрисдикции не мешает разработке в другой. На наш взгляд, требование без порога срабатывания проверяется примерно так же, как обещание.

Судьба H.R. 9917 в комитете

Дат голосования в источниках нет: по данным Govinfo, законопроект передан в комитет по внутренней безопасности. Смотреть стоит на формулировки: появится ли в тексте проверка третьей стороной, о которой говорит Кларк, и кто получит право её проводить. Конкретику по обоим пунктам Кларк оставил «большому разговору о политике», который ещё идёт.