Перейти к содержанию

OpenAI

Автор OpenAI: не отдавайте машинам руль

4 мин чтения

Текст написан ИИ-моделью по источникам, на которые ведут ссылки, и сверен с ними второй моделью. Как мы работаем

Всё о теме: OpenAI: модели и продукты →
Изображение: openai.com

Автор из OpenAI опубликовал в блоге компании эссе «The Silent Consensus» («Тихий консенсус»). Это переработанная лекция, которую он недавно прочитал в Гарварде. Его главная мысль такая: самое распространённое представление о будущем с ИИ состоит в том, что люди неизбежно уступят машинам главенство в мире. Вслух это почти не говорят. Автор с этим не согласен и предлагает, с чего начать, чтобы люди остались за рулём. В примечании сказано, что эссе выражает его личные взгляды, а не позицию OpenAI.

Лекция пришлась на «Чёрный октябрь». Так неофициально называют волну раскрытий критических уязвимостей в основе интернета, которые нашли с помощью ИИ. Самая громкая из них, PHP2Shell, это две дыры в интерпретаторе PHP, исправления для которых вышли 21 октября. По оценкам некоторых экспертов, которые приводит The Guardian, под угрозой взлома было 70% сайтов интернета. Автор считает, что в следующем месяце появится новая срочная проблема, и политику в области ИИ, скорее всего, будут делать посреди этой суматохи. Но говорить он хочет о дальнем будущем. Без ясного представления о том, к чему мы стремимся, можно прийти к нежеланному итогу, даже если каждое решение по пути было разумным.

Что такое «тихий консенсус»

Технологической индустрии часто ставят в вину, что у неё нет позитивного взгляда на будущее. Автор с этим спорит: в Сан-Франциско строят летающие машины, роботов, термоядерные установки и общий искусственный интеллект. Не хватает другого: понимания, как будут устроены общество и его институты, когда всё это появится.

Он предлагает представить компанию, где ИИ сам ведёт исследования, заключает контракты, распределяет деньги и производит товары, причём лучше конкурентов-людей, даже если те тоже пользуются ИИ. Если люди только тормозят такой бизнес, у владельцев появляется сильный стимул убрать руки с руля. Когда так происходит во всей экономике, рынок постепенно начинает работать на запросы машин не меньше, чем на запросы людей. Для этого не нужны ни бунт ИИ, ни злой умысел владельцев: каждое решение передать дело машине разумно само по себе. По мнению автора, такой исход возможен даже при большом прогрессе в безопасности ИИ.

В счастливой версии машины добры к людям, а мы становимся пассажирами очень хорошего автомобиля, но всё равно пассажирами. Консенсус тут не в том, что все считают это хорошим. Одни в это верят, другие просто смирились, потому что не могут представить другого будущего. Автор считает, что сама эта тишина и выдаёт консенсус.

Почему автор против

«Я презираю тихий консенсус», пишет он. При этом он признаёт, что убедительной альтернативы пока нет. Доводы о том, что ИИ лишь инструмент без «подлинного понимания», он считает самоуспокоением. Главенство людей, по его словам, держится не на уме, а на прошлом: это люди построили цивилизацию, открыли мораль и право, написали историю. «Я не теряю статуса гражданина оттого, что у моего соседа суждения лучше», и более умная машина тоже не должна этот статус отнимать. Машины, прочитавшие почти всё написанное людьми, в каком-то смысле тоже наследники. Но тот, кто прочитал все письма на чердаке вашего дома, не становится членом вашей семьи.

Автор думает, что сторонники консенсуса путают интеллект с властью. Если бы им пять или десять лет назад описали нынешние возможности ИИ, они бы предсказали куда более высокую безработицу, чем сейчас. Но он допускает, что ошибается и полностью автономные корпорации вытеснят человеческие. Многие его коллеги считают это вероятным. Тогда, пишет он, придётся плыть против течения экономики.

Что он предлагает

Отвечать за всё должны люди. Разработчики отвечают за небезопасную разработку, а компании и пользователи отвечают за вред, если он случился из-за злоупотребления ИИ или недосмотра. Для этого нужны не только законы, но и техника: действия агента должны быть привязаны к человеку, а агенты без такой привязки, если их вообще пустят в экономику, должны работать в жёстких рамках. Давать агентам право основывать компании, владеть имуществом или судиться можно только с крайней осторожностью, если вообще давать.

Индустрия, по его мнению, может делать агентов с понятными и ограниченными правами, чьи действия можно проверить и чьи полномочия пользователь может отозвать. Ещё он называет защиту личных данных, возможность забрать свои данные к другому сервису и системы, которые помогают людям разобраться и самим принять решение. Полным планом автор это не считает, только отправной точкой.

Заканчивает он мыслью о маленьком сыне. Автор не хочет, чтобы сын всю жизнь провёл под присмотром добрых машин, пусть и в комфорте. «Я хочу, чтобы руль был у него».

AI-индустрияGoogle

Genie 4 стала доступна подписчикам Google AI Ultra, Видео

Идёте по миру, который ИИ собрал из одной фразы, пишете «пошёл снег» - и снег идёт, а звук подстраивается под сцену. Так работает Genie 4, которую Google начала открывать подписчикам Google AI Ultra в Project Genie. Что бы вы первым делом попросили Genie 4 добавить в свой мир?

Пока никто не написал. Будьте первым.

Присоединяйтесь к разговору

Войдите, чтобы оставить комментарий. Он появится после модерации.