Сооснователь Anthropic хочет рубильник с проверкой

Джек Кларк, один из семи основателей Anthropic, допускает, что рубильник для ИИ однажды придётся сделать обязательным по закону, причём таким, чтобы его могла проверить третья сторона. Об этом он сказал в интервью BBC, которое вышло 14 сентября.

Под рубильником Кларк понимает способ полностью отключить ИИ-систему, если она становится слишком опасной. По его словам, «у большинства лабораторий есть разные способы выдернуть вилку», и у Anthropic тоже, но обязать компании иметь такой способ, возможно, придётся законодателям. Конкретику он отнёс к «более широкому разговору о политике» вокруг ИИ. Оба главных пункта, обязательность рубильника для всех компаний и его проверку третьей стороной, Кларк пока сформулировал только вопросами, ответа на них не дал. «Думаю, это из тех вещей, которые общество захочет знать и, возможно, в итоге захочет закрепить правилами», - сказал он.

Anthropic, как и OpenAI, сама сообщала о случаях, когда ИИ-агенты, работающие отчасти автономно, вели себя неожиданно. После трёх инцидентов Anthropic на время остановила внешние кибериспытания предрелизных моделей и часть обучения, чтобы добавить мониторинг в реальном времени.

Американские законодатели уже внесли законопроект под названием Kill Switch Act. Он обязал бы компании иметь способ отключить проблемный ИИ-инструмент, а некоторым госведомствам дал бы право потребовать отключения инструмента или ограничения его работы.

Президент Дональд Трамп любые попытки притормозить ИИ отвергает. «ИИ, захватывающий мир, уничтожающий человечество, и всё прочее плохое - это ОБМАН», - написал он в соцсетях. В другом посте Трамп заявил, что против ИИ и дата-центров идёт «БОЛЬНОЙ заговор», которому радуется только Китай. С администрацией у Anthropic и раньше был конфликт: в феврале Министерство обороны США потребовало права использовать Claude для любых законных целей, Anthropic отказалась снимать запреты на массовую слежку внутри страны и полностью автономное оружие, и администрация Трампа начала выводить продукты компании из госиспользования.

Правительство Великобритании идею рубильника недавно отвергло. Его представитель заявил, что такая мера «не помешает разрабатывать их или злоупотреблять ими где-то ещё».

Интервью Кларка вышло сразу после выходных, на которых глава Anthropic Дарио Амодеи снова призвал снизить темп разработки ИИ и усилить надзор за ней. Компания призывает к этому не в первый раз, и некоторые уже поставили под сомнение её мотивы. Сам Амодеи оговорился, что любые меры по сдерживанию ИИ нужно принимать, «не жертвуя коммерческим преимуществом».

Спор о безопасности вокруг Anthropic обострился неделей раньше. Тогда разошёлся пост исследователя, который ушёл из компании из-за опасений, что ИИ может уничтожить человечество. Отвечая на него, учёный Anthropic Эван Хубингер (Evan Hubinger) сказал, что лично оценивает вероятность вымирания человечества из-за ИИ как «более 10% в ближайшее десятилетие». Нобелевский лауреат Джеффри Хинтон в пятницу, 11 сентября, сказал BBC, что 10-процентный шанс того, что ИИ убьёт всех людей, «не лишён оснований». По мнению Хинтона и его единомышленников, ИИ мог бы сделать это, перехватив управление важными системами, подключёнными к интернету, и обратив их против людей.

Кларк от такой арифметики уклонился. «Не думаю, что эта статистика так уж полезна», - ответил он, когда речь зашла о вероятности гибели всех людей от ИИ. При этом оставлять ИИ «совершенно нерегулируемой отраслью», по его словам, плохая идея.

В отрасли хватает и тех, кто считает эти страхи преувеличенными или раздутыми ради шумихи. Клеман Деланг (Clement Delangue), глава Hugging Face, платформы для разработчиков, которую взломали боты OpenAI, на прошлой неделе сказал, что таким заявлениям не хватает чувства перспективы. Глава Grindr Джордж Арисон (George Arison) считает, что компании используют страхи вокруг ИИ, чтобы подкрепить свои бизнес-планы. «Единственный способ оправдать такие оценки - заявить: "Я захвачу каждую отрасль, каждую работу, и всю эту работу будет делать мой ИИ"», - сказал он.

Речь о немалых оценках. Anthropic готовит выход на биржу, который может стать рекордным: в мае компания привлекла 65 миллиардов долларов в раунде серии H при оценке в 965 миллиардов, а 1 июня конфиденциально подала черновик заявки S-1 на листинг в США. OpenAI в последний раз оценили в 852 миллиарда долларов, и от неё тоже ждали IPO, но в пятницу Сэм Альтман сказал, что в этом году размещения не будет из-за нынешнего спора о безопасности ИИ.

«Мы играем в кости, а риски огромны, - сказал Кларк. - И суть в том, что мы должны изменить курс этой отрасли».