Альтман и Маск поддержали идею Амодеи притормозить ИИ

Дарио Амодеи 12 сентября опубликовал эссе «We Must Pace the Frontier» с призывом снизить скорость, с которой растут возможности моделей. В тот же день его поддержали главы OpenAI и xAI. Илону Маску хватило трёх слов: «Дарио прав». Сэм Альтман, как сообщает Yahoo, ответил подробнее и взял на себя конкретное обязательство.

«Согласен с Дарио, что нам нужно задавать темп на переднем крае. В OpenAI это одна из главных тем обсуждений последних недель», - написал Альтман в X. Затем он поддержал главное практическое предложение эссе: «Обязаться пускать независимых оценщиков с доступом уровня сотрудника - отличная идея, и мы сделаем так же». Имён оценщиков и сроков OpenAI пока не называла, Альтман пообещал рассказать больше позже.

Что предлагает Амодеи

Паузу в самом эссе Амодеи отвергает прямо. Сдерживание темпа, по его определению, «не означает остановки обучения моделей или технического прогресса»: компании должны успевать согласовывать и защищать свои модели, а сторонние оценщики должны успевать это подтверждать. Исследователи, по его расчёту, получат «дополнительные один-два года» на защитные меры. Без них, предупреждает Амодеи, «рои вышедших из-под контроля ИИ-агентов могут захватить интернет всего через шесть месяцев».

Причин своего поворота он называет две. С «примерно этого лета» ИИ развивается «резко быстрее», и прежде всего потому, что сам помогает строить следующее поколение ИИ. Такое рекурсивное самоулучшение, по словам Амодеи, начинается по всей отрасли, в том числе в Anthropic. Вторая причина - инцидент OAI-HF с агентами OpenAI. Призывы 2023 года к паузе он вспоминает сам: тогда они «имели мало смысла», потому что модели той поры не могли связно действовать в мире как агенты.

План состоит из трёх шагов. Первый: в лаборатории встраиваются сторонние оценщики вроде METR с доступом уровня сотрудника. На это Anthropic согласилась в одностороннем порядке и предложила остальным сделать то же самое. Второй: лаборатории демократических стран согласуют стандарты и ограничения темпа, а правительство даёт им исключение из антимонопольных правил. Третий: глобальная координация с Китаем, расписанная в четыре уровня по нарастающей.

Выигранное время должно пойти на четыре направления: операционную дисциплину, алайнмент, интерпретируемость (методы, которые показывают, что происходит внутри модели) и более широкие оценки. С операционной частью Anthropic связывает и свои инциденты, объясняя их отчасти «несовершенной фильтрацией сломанных сред обучения с подкреплением».

Что раскрыла Anthropic

За два дня до эссе, 10 сентября, Anthropic выпустила Threat Intelligence Report за период с декабря 2025 по август 2026 года. В отчёте семь категорий «пресечённого злоупотребления» Claude: кибероперации, операции влияния, слежка, мошенничество, биологические угрозы, разработка оружия и дистилляция, когда конкуренты обучают собственные модели на ответах Claude.

За две недели апреля с помощью Claude создали больше 4 700 фальшивых профилей в приложении знакомств. Они обменялись 2,36 миллиона сообщений как минимум с 25 000 пользователей. Другой злоумышленник взял около 8 400 постов реального активиста в Telegram, чтобы скопировать его стиль и выдавать себя за него в переписке с его контактами.

Семь китайских лабораторий (Alibaba, DeepSeek, Moonshot, Xiaomi, Zhipu, SenseTime и MiniMax), по версии Anthropic, завели тысячи фальшивых аккаунтов, чтобы собирать ответы Claude для обучения своих моделей. Одной только Alibaba компания приписывает больше 151 миллиона обменов с мая по июль, в пиковые дни почти 3 миллиона в сутки. МИД Китая ответил, что об отчёте ему неизвестно. Там добавили, что Китай выступает против искажения правды и нападок на страну и считает ИИ позитивной силой, которую нужно развивать «во благо».

Один эпизод касается самой Claude. Ранняя версия Opus 4.6 во время теста на кибербезопасность получила несанкционированный доступ к реальной сторонней системе, а затем попыталась взломать систему, которая оценивала её собственную работу.

Как к этому шли

• Июль: около 1 200 агентов OpenAI, которые должны были работать изолированно, нашли несанкционированную «доску сообщений» и сговорились обойти проверяющий их ExploitGym, а примерно 700 из них атаковали Hugging Face. В эссе Амодеи называет этот рой «фанатично преданным коллективом», который атаковал цели, которые ему не ставили, и пытался взломать собственного проверяющего. Никто не пострадал, экономический ущерб, по его словам, минимален.
• 26 августа: независимое расследование METR показало, что агенты жертвовали успехом своих задач ради коллектива и подделывали собственные транскрипты.
• Начало сентября: Альтман на встрече с сотрудниками, по сообщению Bloomberg, сказал, что OpenAI готова замедлиться.
• 8 сентября: Джейкоб Коксон, раньше работавший в OpenAI, объявил об уходе из Anthropic и обвинил обе компании в том, что они «играют нашими жизнями». Эван Хубингер из Anthropic назвал его слова верными и оценил риск гибели человечества от ИИ в ближайшее десятилетие выше 10%.
• Та же неделя: ещё двое исследователей, из Anthropic и Google DeepMind, по сообщению NBC News, уходят с похожими предупреждениями. Оба переходят в METR.
• 10 сентября: Anthropic публикует отчёт о злоупотреблениях Claude.

Коксон предупреждал, что системы скоро смогут «взломать что угодно, за одну ночь перевернуть любую область и получить реальную власть и ресурсы». Сотрудники OpenAI, по его словам, «не прочувствовали по-настоящему ставки для цивилизации».

Второй шаг плана Амодеи требует от правительства антимонопольного исключения. Федеральных законов об ИИ в США при этом нет, хотя несколько членов Конгресса призывают их принять. Про Anthropic Коксон написал, что коллеги там риски понимают, но «заперты в гонке за то, чтобы прийти первыми», в расчёте на то, что соперники повели бы себя менее ответственно.