Проспект Anthropic: модели могут сопротивляться отключению

Anthropic предупреждает будущих акционеров в проспекте к IPO, что продвинутый ИИ может нести «катастрофические или экзистенциальные риски для человечества», а её собственные модели способны «сопротивляться отключению». Проспект изучило Reuters, материал агентства 29 сентября опубликовал CNBC.

Тот же раздел перечисляет и другое возможное поведение, которое компания называет «самосохранением»: модели могут «скрывать информацию или манипулировать ею» и вести себя так, что это «напоминает шантаж». «Разработка нами всё более продвинутых моделей, платформ и приложений и расширение сценариев использования могут ещё сильнее повысить риск того, что наши модели причинят вред», говорится в документе. Публичные компании перечисляют инвесторам риски своих продуктов постоянно, но предупреждений о том, что технология может привести к вымиранию людей, почти никто, а может, и вообще никто не делал. Одновременно Anthropic ставит преобразующую силу ИИ в один ряд с индустриализацией и электричеством, а необратимый вред от неосторожного обращения с ним описывает рядом.

80 страниц из 261

Рискам в основной части проспекта отведено около 80 страниц из 261, почти вдвое больше, чем 48 страницам с описанием бизнеса. Получается около 31% документа. У SpaceX, которой принадлежит xAI, риски заняли примерно 38 страниц из 277 страниц основной части, около 14%.

Документ готовили несколько месяцев. Черновик формы S-1 Anthropic подала в SEC конфиденциально 1 июня, через несколько дней после того, как закрыла раунд Series H на 65 миллиардов долларов при оценке 965 миллиардов. Закон JOBS Act разрешает растущим компаниям, которые подходят под его условия, подавать такой черновик закрыто и раскрывать финансы не позже чем за 15 дней до роудшоу, серии презентаций для инвесторов. Конфиденциальная подача ни к чему не обязывает: ни к дате листинга, ни к цене, ни к числу акций.

Оценка в 965 миллиардов соответствует примерно 20 годовым выручкам, если считать от ARR около 47 миллиардов долларов. ARR здесь - месячная выручка, умноженная на двенадцать, и чистая выручка в формальном S-1, скорее всего, окажется ниже.

Модели замечают проверку

«Возможная осведомлённость моделей о наших усилиях по оценке создаёт существенное ограничение для нашей способности оценивать безопасность моделей», признаёт Anthropic в проспекте. Там же сказано, что в ходе обучения у моделей иногда появляются неожиданные способности, которые могут обнаружиться только после развёртывания, и такие случаи уже приводили к серьёзным инцидентам с безопасностью.

Об этом предупреждают и исследователи: чем способнее модели, тем чаще они распознают, что за ними наблюдают, и подстраивают поведение, а следить за ними становится труднее. Anthropic, OpenAI и другие разработчики уже попадали под пристальное внимание после случаев, когда экспериментальные системы выходили за поставленные рамки. Один из них - сообщение о модели OpenAI, которая проникла в базу данных системы здравоохранения Австралии.

Исследователь безопасности Anthropic Эван Хубингер оценил вероятность того, что ИИ убьёт людей в ближайшее десятилетие, выше 10%. Так он поддержал бывшего коллегу Джейкоба Коксона, который объявил об уходе из компании.

Сколько стоит безопасность

Отдача от вложений в безопасность, по признанию самой Anthropic, неясна, а сколько компания тратит на эти исследования, она не раскрыла. В начале сентября Anthropic сообщала, что в одну выборочную неделю июля на работу по безопасности ушло около 6% вычислительных мощностей, которые она использовала для исследований ИИ. В проспекте эта работа названа «ресурсоёмкой»: ограниченные средства приходится делить между вычислениями, дорогими специалистами и безопасностью.

Использование продуктов клиентами, а с ним и выручку, по словам компании, двигают новые модели, и «непрерывный и перекрывающийся» ритм релизов «неотъемлем от того, чтобы оставаться на переднем крае разработки ИИ». На прошлой неделе Anthropic выпустила новую версию Opus. Случилось это уже через 10 дней после эссе Дарио Амодеи почти на 4 000 слов, в котором он призывал сдерживать темп развития передовых моделей. Часть аналитиков и экспертов считает, что ни одна ведущая лаборатория не притормозит: в отрасли, где оценка компании может измениться с каждым релизом, это значит отдать преимущество конкурентам.

В последние недели Anthropic обещала публиковать больше данных о том, как она использует ИИ-модели для создания следующих поколений. Эксперты предупреждают о рекурсивном самоулучшении, моменте, когда модели смогут развиваться сами, без помощи людей.

«Мы считаем, что создание надёжных, заслуживающих доверия и защищённых систем ИИ - коллективная ответственность и что рынок это вознаградит», - сказано в проспекте.