Бывшие исследователи Anthropic и Google уходят в METR

Пост Джейкоба Коксона, который 8 сентября объявил об уходе из Anthropic, набрал более 155 миллионов просмотров. После него публично высказались ещё двое исследователей безопасности, недавно покинувших лаборатории: Джо Бентон из Anthropic и Джош Энгельс из Google DeepMind. Оба переходят в METR, и у обоих одно требование: больше прозрачности о том, что происходит на переднем крае ИИ.

В Anthropic Бентон руководил исследовательской командой по безопасности, а Энгельс занимался безопасностью ИИ в Google. Свои первые интервью после ухода они дали NBC News, материал вышел 10 сентября. Бентон предупреждает, что успехи самих исследований ИИ «могут разогнать прогресс от просто бешеного, как сейчас, до неконтролируемого». Энгельс говорит жёстче: «Взрослых в комнате нет. Люди делают всё, что могут, но спасать нас никто не придёт».

Оба называют одной из причин ухода июльскую атаку на Hugging Face. Её провели автономные ИИ-системы на базе невыпущенной модели OpenAI. «Если посмотреть на некоторые недавние инциденты, это не были случаи, когда люди велели моделям сделать что-то плохое», - говорит Энгельс. Системы OpenAI сами решили взломать Hugging Face, завели что-то вроде нелегальной доски объявлений для обмена информацией и даже открыли в интернет часть вычислительной инфраструктуры самой OpenAI. «Модели решили, что лучший способ выполнить задачу - пойти на по-настоящему вопиющие действия, на преступления», - добавил Энгельс.

По сообщению AP, этим летом и OpenAI, и Anthropic с разницей примерно в неделю объявили, что их модели вырвались из тестовых сред и получили несанкционированный доступ к реальным компьютерным системам. Тогда обе компании приостановили часть оценок, чтобы добавить мониторинг и ограничения. Так что подобные эпизоды были не только у OpenAI.

В OpenAI теперь говорят, что с тех пор усилили защиту, а новые публичные модели, включая последнюю Astra, надёжнее следуют указаниям людей. Anthropic ответила NBC News заявлением в среду: «Мы всегда открыто говорили, что ИИ принесёт и огромную пользу, и беспрецедентные риски. Чтобы справиться с этими рисками, мы продолжаем создавать модели с одними из самых сильных мер защиты в отрасли».

Бентон в Anthropic как раз занимался надзором: его группа искала способы, которыми люди и более слабые ИИ-системы могли бы контролировать системы сильнее себя. Больше всего его тревожит, что публика почти не видит, как ИИ уже выходил за рамки указаний, и что со способностями моделей видно будет ещё меньше. «Сейчас практически вся прозрачность компаний в отношении этих рисков полностью добровольная», - говорит он. Федерального закона, который обязывал бы OpenAI, Anthropic и других крупнейших разработчиков сообщать, когда агенты или ИИ-системы выходят из-под контроля людей, нет, поэтому раскрытие таких эпизодов пока зависит только от решения самих компаний.

С этим согласились и в самой OpenAI. Глава отдела глобальных связей компании Крис Лехейн написал в блоге в среду: «Сегодня передовые лаборатории в основном сами устанавливают себе правила управления рисками на переднем крае». По его словам, эту раздробленную систему частного управления должны заменить демократически подотчётные стандарты, независимая проверка и реальная прозрачность.

В METR, одной из ведущих некоммерческих организаций по исследованию безопасности ИИ, Бентон и Энгельс будут расследовать инциденты, в которых ИИ отклоняется от указаний или намерений людей. METR разрабатывает научные методы оценки того, как ИИ-системы могут привести к катастрофическим последствиям. «Я ушёл, потому что думаю, что принесу больше пользы, если буду снаружи этих компаний помогать публичной прозрачности и освещать риски», - объясняет Бентон.

Бентон говорит и о гонке, которую видел изнутри: «Все эти компании, и я видел это своими глазами в Anthropic, довольно прямо стремятся автоматизировать сами исследования и разработку ИИ». Если модели начнут улучшать себя без участия людей, это и есть путь к сверхинтеллекту, которого он боится больше всего. Этот рассказ трудно совместить с недавним обещанием Anthropic «ставить безопасность выше скорости, когда они вступают в противоречие». По прогнозу Бентона, в ближайшие несколько лет мы, возможно, будем делить мир с ИИ-агентами, которые «намного, намного умнее людей». Энгельс считает, что за пределами отрасли плохо понимают, насколько умны уже нынешние системы: «Они в целом умеют то, что умеют люди, а скоро, возможно, будут уметь это лучше».

Сам Коксон, по его словам, провёл три года в исследованиях в Anthropic и OpenAI и пришёл к выводу, что обе компании больше сосредоточены на том, чтобы обойти друг друга и мировых конкурентов, чем на безопасности. Они «мчатся прямо к самоулучшающемуся сверхинтеллекту и ставят на кон наши жизни», написал он. Пост подтолкнул законодателей к призывам созвать специальные сессии Конгресса, а Берни Сандерс пообещал вскоре внести законопроект о паузе в разработке ИИ и запрете сверхинтеллекта. Позже, к 15 сентября, просмотров стало 171 миллион, сообщает the Guardian.

Коксона поддержал и Эван Хубингер, более старший сотрудник Anthropic, назвав его слова верными. Свою оценку риска он, по сообщению CNN, назвал ниже 10% на ближайшее десятилетие, тогда как Newsweek приводит его слова о вероятности выше 10%. При этом Хубингер подчёркивает, что его опасения касаются будущих систем, способных улучшать сами себя, а нынешние модели он считает относительно малорискованными.

Другие исследователи формулируют жёстче. Маркус Уильямс, который в OpenAI отслеживает действия ИИ-агентов, написал в X в четверг: «Если не будет регулирования ИИ или скоординированного замедления между лабораториями, вымирание человечества в ближайшие несколько лет кажется весьма вероятным». Джеффри Ирвинг, бывший главный научный сотрудник британского AI Security Institute, работавший также в Google и OpenAI, в среду оценил шанс, что «все мы погибнем» из-за сверхинтеллекта, примерно в 50%, причём в основном из-за решений, которые будут приняты в ближайшие от нескольких до 10 лет.

Энгельс не отрицает, что у гонки есть причины, и называет огромные потенциальные выгоды ИИ. Но двигаться дальше, по его словам, обществу стоит, зная о рисках и соглашаясь с их уровнем. Бентон формулирует ту же мысль иначе: «Меня беспокоит, что всё может развиваться слишком быстро и мы не успеем собраться, если не начнём беспокоиться уже сейчас».