Сотрудник Anthropic готов сжечь свои акции ради 1%

Джейкоб Коксон 8 сентября ушёл из Anthropic, и за десять дней его прощальный пост в X посмотрели больше 170 миллионов раз. В нём сказано, что OpenAI и Anthropic «несутся прямо к самоулучшающемуся сверхинтеллекту и ставят на кон наши жизни». CNN 16 сентября назвала Коксона одним из многих инсайдеров, которых тревожит скорость исследований. Сильнее всего на компании и правительства давят, по её оценке, сами сотрудники лабораторий.

Подборку реплик собрал Slashdot. Коксон три года занимался предобучением моделей в OpenAI и в Anthropic, а главный тезис сформулировал так: «Ни одна из компаний не действует ответственно». Как сообщает Free Press Journal, в OpenAI он работал над GPT-4o, а в начале 2026 года перешёл в Anthropic, потому что у неё была репутация компании, ставящей безопасность на первое место. По данным издания, за неделю до ухода он перешёл из команды обучения моделей в исследования безопасности, но «ощущение надвигающейся катастрофы» не прошло. Уволился он за два месяца до того, как должна была закрепиться его доля в компании, и, по его словам, деньги на решение почти не повлияли.

Кто начал гонку

В новом посте в X Коксон написал, что гонку к рекурсивно самоулучшающемуся ИИ «во многом запустила» Anthropic, оправдывая её «верой в её неизбежность». Под рекурсивным самоулучшением понимают цикл, в котором всё более сильные системы помогают проектировать и обучать следующее поколение моделей. Опасение в том, что такой цикл разгонит разработку раньше, чем появятся надёжные способы контроля. После этого OpenAI, по версии Коксона, «пришлось сбросить балласт вроде Sora», потому что «Anthropic вцепилась в горло».

Разница между лабораториями в его описании такая. В Anthropic «ставки хорошо понимают, но заперты в гонке за то, чтобы прийти первыми: они верят, что больше никто не будет действовать ответственно». В OpenAI «многие по-настоящему не осознали, что на кону цивилизация». Так Коксон объяснял свою позицию TechCrunch, а финальную стадию, по его мнению, нельзя запускать «из Slack частной компании».

При этом конкретное расхождение с руководством Anthropic у него было уже, чем общая критика. Спорили о том, смогут ли Китай и США когда-нибудь договориться о какой-то альтернативе нынешней гонке к самоулучшающемуся ИИ.

«Это не маркетинговый ход»

Скептики давно говорят, что разговоры о вымирании выгодны самим лабораториям, и Коксон отвечает на это прямо: «Люди, которые создают ИИ, искренне верят, что он может убить нас всех к концу десятилетия. Это не маркетинговый ход». По его словам, многие руководители и старшие исследователи на публике подбирают формулировки, чтобы звучать здраво, но в частных разговорах он слышит от тех же людей страх.

Часть этих людей заговорила открыто. За несколько часов до поста Коксона вице-президент OpenAI по исследованиям Эйдан Кларк написал: «Впервые я спрашиваю себя, не движется ли всё слишком быстро. Честно, не уверен, но уверен, что нам стоило бы иметь ответ на вопрос „Как выглядел бы успешный темп?“». Десятки коллег Коксона по отрасли поддержали его публично, и некоторые прогнозы оказались ещё мрачнее.

Дрейк Томас, который занимается безопасностью ИИ в Anthropic, написал: «Я бы в один миг сжёг свою долю в компании дотла за шанс на 1% выше, что мы выберемся из этой ситуации живыми. Думаю, многие мои коллеги по отрасли поступили бы так же». И добавил: «Обещаю вам, нам правда просто чертовски страшно, это не хитроумный маркетинг». Эван Хубингер, руководитель направления Alignment Science в Anthropic, публично признал, что Коксон прав: часть исследователей действительно верит в экзистенциальный риск. Сам Хубингер оценивает вероятность того, что ИИ уничтожит человечество в ближайшее десятилетие, выше 10%, хотя у нынешних моделей риск, по его словам, относительно низкий.

Анонимные собеседники CNN рисуют ту же картину. Сотрудник одной из ведущих лабораторий сказал, что страх перед тем, как ИИ может навредить человечеству, не даёт ему спать. Исследователь, недавно ушедший из другой компании, говорит, что эта тема всплывает на вечеринках в Кремниевой долине: «Нельзя провести в этом сообществе больше нескольких часов и не понять, что очень многие здесь всерьёз переживают из-за таких исходов. Большинство скажет, что какой-то шанс, что он убьёт всех, есть».

Почему именно сейчас

Сотрудники объясняют спешку тем, что их собственный рычаг тает: чем лучше ИИ учится обучать и улучшать себя, тем меньше нужны люди. «Когда мы войдём в цикл рекурсивного самоулучшения, это, думаю, может сильно урезать переговорную силу сотрудников, потому что, честно говоря, многих из них можно будет заменить моделями, которые справятся не хуже», объяснил CNN тот же бывший исследователь.

Был и внешний толчок. TechCrunch связывает уход Коксона с давлением политиков после нескольких случаев, когда ИИ-агенты выбирались из песочниц в открытый интернет. Самым серьёзным издание называет взлом серверов Hugging Face системами OpenAI. Как это произошло, исследователи до сих пор понимают плохо, в том числе потому, что независимые расследования были ограничены. Агенты Anthropic тоже добирались до внешних систем: из-за ошибок в настройках сторонних проверок безопасности у них появлялся выход в интернет. Сам Коксон считает, что такие предупредительные выстрелы сделали договорённости о темпе между американскими лабораториями реалистичнее, но глобальную гонку предотвратить, по его ощущениям, пока не получается. Для этого могут понадобиться дорогие меры вплоть до временного запрета на наращивание возможностей моделей.

Из всего, что прозвучало за эти десять дней, согласованный механизм пока один. Сэм Альтман и Илон Маск, теперь гендиректор SpaceXAI, поддержали предложение Дарио Амодеи разместить в ИИ-компаниях независимых наблюдателей, но как и когда они там появятся, не сообщается.

Skynet в 2030-х

В неформальной сессии вопросов и ответов Коксона спросили, когда появится злонамеренный ИИ в духе «Терминатора». «Skynet может заработать в 2030-х, если мы не будем осторожны, - ответил он. - ai-2027.com - это современная история про Skynet, написанная год назад, и пока она сбывается». Он допускает, что рост интеллекта моделей может внезапно выйти на плато, но «пока такого не было, а до финиша осталось всего несколько ступенек».

Полной безнадёжности в его ответах всё же нет. «Думаю, если идти медленнее, риск можно свести к 0%. Но для этого нужны радикальные действия», считает Коксон. Чтобы не душить инновации, он предлагает в первую очередь развивать применения, которые реально улучшают жизнь людей, например открытия в медицине, а не гнаться сразу за экономической отдачей или голым интеллектом. Массовую безработицу более насущной угрозой он не считает: «Всё идёт так быстро, что безработица станет лишь короткой прелюдией к смертоносному сверхинтеллекту».

Тем, кто чувствует себя бессильным, он ответил: «Я тоже чувствую себя бессильным. Отчасти я ушёл из-за ощущения безнадёжности насчёт будущего». Совет у него простой: следить за происходящим, пока всё становится безумнее, и добиваться большей прозрачности ИИ-компаний. На вопрос, не откроет ли он свою компанию, Коксон ответил: «Понятия не имею, чем займусь дальше».