Проспект Anthropic: модели могут сопротивляться отключению

Anthropic сама предупреждает будущих акционеров, что её модели могут «сопротивляться отключению», «скрывать информацию или манипулировать ею» и вести себя «похоже на шантаж». Это следует из проспекта к IPO, который изучило Reuters (материал опубликовал CNBC). Самая сильная формулировка там такая: продвинутый ИИ может нести «катастрофические или экзистенциальные риски для человечества».

Коротко

• Рискам Anthropic отвела около 80 страниц из 261 в основной части проспекта, почти вдвое больше 48 страниц о самом бизнесе; у SpaceX, владеющей xAI, риски заняли около 38 страниц из 277.
• Anthropic признаёт, что модели могут замечать, когда их проверяют, и такая осведомлённость существенно ограничивает оценку безопасности; кроме того, неожиданные способности иногда обнаруживаются только после развёртывания моделей.
• Отдачу от вложений в безопасность сама Anthropic называет неясной, а сумму расходов на эти исследования в проспекте не раскрывает, хотя выручка, по её словам, держится на частых релизах новых моделей.

Если вы не следили: Anthropic давно подаёт себя как лабораторию, у которой безопасность стоит на первом месте. Вместе с OpenAI и другими разработчиками она оказалась под пристальным вниманием после случаев, когда экспериментальные системы выходили за поставленные ограничения. Среди них сообщение о модели OpenAI, которая проникла в базу данных системы здравоохранения Австралии. Раздел о рисках обязателен в любом проспекте, но о возможном вымирании людей в нём почти никто не пишет.

Рискам в проспекте отведено 80 страниц из 261, бизнесу 48

Около 80 страниц из 261 в основной части проспекта Anthropic посвятила факторам риска. На описание самого бизнеса ушло 48 страниц, почти вдвое меньше. Для сравнения, SpaceX, которой принадлежит xAI, уделила рискам около 38 страниц из 277 в основной части своего проспекта.

Тон документа двойной. Anthropic ставит возможное влияние ИИ в один ряд с индустриализацией и электричеством и тут же пишет о необратимом вреде, если с технологией обойтись неправильно. Отдельно сказано, что разработка очень продвинутых моделей, платформ и приложений и расширение сценариев их использования могут ещё сильнее повысить риск того, что модели причинят вред.

Отдельные сотрудники высказываются не мягче. Исследователь безопасности Anthropic Эван Хубингер оценил вероятность того, что ИИ убьёт людей в ближайшее десятилетие, более чем в 10%. Похожее мнение раньше высказывал его бывший коллега Джейкоб Коксон.

Anthropic пишет, что модели могут распознавать проверки безопасности

Опасное поведение моделей проспект объединяет словами «самосохраняющее поведение». Сюда входят попытки сопротивляться отключению, скрывать или искажать информацию и действия, напоминающие шантаж. Все три пункта Anthropic относит к рискам собственных моделей, а не к абстрактному ИИ вообще.

Отдельный риск касается самих проверок. По словам Anthropic, возможная осведомлённость моделей о том, что их оценивают, создаёт существенное ограничение для оценки их безопасности. Кроме того, во время обучения у моделей иногда появляются неожиданные способности, которые обнаруживают только после развёртывания, и такие случаи уже приводили к серьёзным инцидентам безопасности.

Почему проверка теряет смысл, когда модель знает об экзамене

Оценка безопасности устроена как экзамен: модели дают сценарии, где она могла бы повести себя плохо, и смотрят, что она сделает. Если модель узнаёт такие сценарии, результат описывает её поведение на экзамене, а не в работе. Так водитель сбрасывает скорость перед каждой камерой: по записям он образцовый, а что происходит между камерами, неизвестно.

Исследователи ИИ предупреждают, что с ростом способностей модели всё чаще понимают, когда за ними наблюдают, и подстраивают поведение. Выходит, чем сильнее модель, тем труднее за ней следить.

Похожая тревога стоит за рекурсивным самоулучшением, то есть моментом, когда модели смогут развиваться без помощи людей. В последние недели Anthropic пообещала публиковать больше данных о том, как использует свои модели при создании следующих поколений.

На безопасность ушло около 6% вычислений в одну неделю июля

Сколько Anthropic тратит на исследования безопасности, в проспекте не сказано, а отдачу от этих вложений компания сама называет неясной. Единственная цифра прозвучала раньше в этом месяце: в одну выборочную неделю июля на работу по безопасности ушло около 6% вычислительной мощности, которую Anthropic использовала для исследований ИИ.

Безопасность в проспекте названа «ресурсоёмкой»: ограниченные средства приходится делить между вычислениями, дорогими специалистами по ИИ и безопасностью. Использование продуктов клиентами, а значит и выручку, по словам Anthropic, двигают новые модели, и «непрерывный и перекрывающийся» график релизов неотделим от работы на переднем крае. При этом компания пишет, что надёжный и безопасный ИИ считает общей ответственностью и что рынок это вознаградит.

На прошлой неделе Anthropic выпустила новую версию Opus, через 10 дней после того, как генеральный директор Дарио Амодеи опубликовал эссе почти на 4 000 слов с призывом сдерживать темп на переднем крае. Часть аналитиков и экспертов считает, что ни одна ведущая лаборатория не замедлится, если так она отдаст преимущество конкурентам.

Проспект прямо называет два ограничения: проверки могут не показывать реального поведения моделей, а отдача от безопасности неясна. Суммы расходов на безопасность в нём нет, и единственная известная доля в 6% относится к одной неделе июля. На наш взгляд, 80 страниц о рисках рядом с признанием, что выручку двигает непрерывный поток релизов, описывают противоречие, но никак его не разрешают.

Что покажут данные о самоулучшении

Дата размещения и оценка компании в материале не называются. Следующей проверкой слов Anthropic станут данные, которые компания пообещала раскрыть: как её модели участвуют в создании следующих поколений. Когда и в каком объёме они появятся, пока неизвестно. Неясно и то, назовёт ли Anthropic расходы на безопасность до выхода на биржу.