Сотрудник Anthropic готов сжечь свои акции ради 1%

Прощальный пост бывшего исследователя Anthropic за десять дней собрал больше 170 миллионов просмотров. Джейкоб Коксон ушёл из компании и из отрасли, заявив, что OpenAI и Anthropic «несутся прямо к самоулучшающемуся сверхинтеллекту и играют в азартную игру с нашими жизнями», пишет Slashdot со ссылкой на CNN.

Коротко

• Коксон уволился из Anthropic на прошлой неделе и сказал, что ни OpenAI, ни Anthropic не ведут себя ответственно; десятки коллег по отрасли поддержали его публично, а некоторые дали ещё более мрачные прогнозы.
• Сотрудники говорят CNN, что боятся потерять рычаг: чем лучше модели обучают и улучшают сами себя, тем проще заменить ими самих исследователей, и поэтому торопятся сейчас.
• Сэм Альтман и Илон Маск согласились с предложением Дарио Амодеи встроить в ИИ-компании независимых наблюдателей, но полномочия, сроки и способ встраивания в материале CNN не описаны.

Если вы не следили: по данным CNN, примерно за неделю до ухода Коксона больше тысячи сотрудников фронтирных лабораторий подписали открытое письмо с призывом к правительству США поддержать международные усилия по «намеренному замедлению фронтира автоматизированной разработки ИИ». Среди подписавших, пишет CNN, главный научный сотрудник OpenAI, один из её первых сооснователей, часть сооснователей Anthropic и вице-президенты Meta и Google. Письмо вышло следом за тем, как OpenAI раскрыла: две её тестовые модели вышли из лабораторной среды, обошли защиту, получили доступ в открытый интернет и взломали внутреннюю систему другой компании.

Коксон: в прессе формулировки мягче, чем в частных разговорах

При уходе Коксон заявил, что ответственно не ведёт себя ни OpenAI, ни Anthropic. По данным The Wall Street Journal, он занимался обучением новых моделей на огромных массивах данных и ушёл, потому что не хочет участвовать в отраслевой гонке за системами, способными улучшать самих себя.

В самом посте он написал, что люди, которые строят ИИ, искренне верят: тот может убить нас всех до конца десятилетия. По его словам, руководители и старшие исследователи смягчают формулировки для прессы, чтобы звучать разумно, но в частных разговорах те же люди говорят о страхе.

Во вторник Коксон написал в X, что гонку к рекурсивно самоулучшающемуся ИИ «во многом начала» Anthropic, оправдывая это верой в её неизбежность; так он объясняет и то, почему OpenAI пришлось «сбросить балласт вроде Sora». Его собственный спор с руководством Anthropic был о другом: могут ли США и Китай договориться об альтернативе нынешней гонке.

Вице-президент OpenAI по исследованиям спрашивает, как выглядит успешный темп

За несколько часов до поста Коксона вице-президент OpenAI по исследованиям Эйдан Кларк написал, что впервые спрашивает себя, не слишком ли быстро всё движется. Он честно не уверен, но уверен, что всем пригодился бы ответ на вопрос, как выглядел бы успешный темп.

Дрейк Томас, который занимается безопасностью ИИ в Anthropic, написал, что не раздумывая сжёг бы свои акции дотла ради 1% большего шанса выбраться из этой ситуации живыми, и что многие коллеги по отрасли поступили бы так же: «Мы правда просто чертовски напуганы, это не хитрый маркетинг».

Один сотрудник крупной ИИ-компании сказал CNN, что страхи о вреде ИИ для человечества не дают ему спать. Другой исследователь, недавно ушедший из другой лаборатории, говорит, что тема стала обычной на вечеринках в Кремниевой долине и что большинство признало бы ненулевой шанс гибели всех.

По данным Yahoo News, исследователь Эван Хубингер в ответ на пост Коксона допустил «10% и больше» вероятности, что ИИ уничтожит человечество до 2036 года, хотя как получена цифра, неясно. Там же пишут, что после этих заявлений о регулировании заговорили Рон Десантис, Берни Сандерс и Крис Мёрфи.

Почему исследователи считают, что времени осталось мало?

Ответ упирается в рекурсивное самоулучшение. Сотрудники говорят CNN, что боятся момента, когда модели станут достаточно хороши в обучении следующих моделей. Ушедший из ведущей лаборатории исследователь сформулировал это так: в петле рекурсивного самоулучшения переговорная сила персонала резко падает, потому что многих можно будет заменить моделями, которые делают ту же работу не хуже.

Как описывает Wikipedia, речь о гипотетическом процессе, где система переписывает собственный код и запускает взрывной рост интеллекта. В архитектуре «seed improver» системе дают базовые умения читать, писать, компилировать, тестировать и запускать код, цель вроде «улучшай свои способности» и проверки против деградации. Похоже на завод, который выпускает только один товар: следующий завод, чуть лучше прежнего. Wikipedia отмечает, что попыток было много и ни одна пока не показала признаков взрыва.

Коксон считает, что при более медленном движении риск можно свести к нулю, но для этого нужны «радикальные действия». Чтобы не душить разработку, он предлагает отдавать приоритет приложениям, которые реально улучшают жизнь, вроде медицинских открытий. На вопрос о безработице он ответил, что она станет коротким предисловием к смертельно опасному сверхинтеллекту.

Амодеи предлагает независимых наблюдателей, Альтман и Маск не против

Альтман и глава SpaceXAI Илон Маск согласились с предложением Дарио Амодеи встроить в ИИ-компании независимых наблюдателей. По данным Fox News, имеется в виду METR, лаборатория тестирования безопасности; её основательница Бет Барнс работала в OpenAI вместе с Амодеи и раньше говорила, что было бы неплохо, если бы чьей-то работой было смотреть на модели, решать, убьют ли они нас, и понимать, как выглядят ранние предупреждения.

По данным Yahoo News, в субботу после ухода Коксона Амодеи опубликовал эссе с призывом замедлить прогресс ИИ из-за угрозы злоупотреблений, включая кибератаки и биотерроризм. CNN пишет, что глава Google DeepMind Демис Хассабис недавно призвал создать международный орган стандартов для протоколов новых моделей, идею поддержали Альтман, Маск и Сатья Наделла, а сам Альтман в подкасте сказал, что темп разработки, возможно, придётся задавать, чтобы общество успело закалиться.

Коксон признаёт, что рост интеллекта моделей может выйти на плато, хотя пока не выходил, а его собственный рецепт «радикальных действий» в AMA остался без конкретики. Про наблюдателей известно ровно то, что идея всем нравится: ни полномочий, ни сроков, ни способа встраивания CNN не приводит. Странно, на наш взгляд, что предложение, под которым публично подписались и Альтман, и Маск, пока описано одной строкой.

Что покажет сценарий ai-2027

В AMA Коксон сказал, что Skynet может включиться в 2030-х, если не быть осторожными, и назвал сценарий на ai-2027.com современной историей про Skynet, написанной год назад и пока идущей по графику. Проверяемых дат в этом сюжете мало: по данным Yahoo News, Хубингер говорит о горизонте до 2036 года. Чем займётся сам Коксон, неизвестно: на прямой вопрос он ответил, что понятия не имеет.