Около 80 страниц проспекта Anthropic ушли на риски

В проспекте к IPO, с которым ознакомилось агентство Reuters, Anthropic отвела рискам около 80 страниц из 261, а на описание собственного бизнеса потратила около 48. Инвесторов компания прямо предупреждает, что продвинутый ИИ может нести «катастрофические или экзистенциальные риски для человечества».

Коротко

• Anthropic готовит выход на биржу, по данным India Today, вероятно до конца года, и в проспекте пишет, что модели могут сопротивляться отключению, скрывать информацию и вести себя «похоже на шантаж».
• По данным Reuters, чистый убыток за прошлый год составил 42 миллиарда долларов, из которых около 34 миллиардов приходится на бухгалтерское начисление, а целевая оценка на IPO составляет около 2 триллионов.
• Anthropic сама признаёт, что модели иногда замечают проверку и могут менять поведение, а сколько денег уходит на исследования безопасности, в проспекте не раскрыто.

Если вы не следили, о рисках ИИ в индустрии давно спорят сами сотрудники лабораторий. Как пишет India Today, Джейкоб Коксон, ушедший из Anthropic, ранее говорил, что ИИ-компании «играют нашими жизнями». А в сентябре глава Anthropic Дарио Амодеи сказал, что «самым большим риском может быть конец человечества».

В основной части проспекта рискам отведено 80 страниц, бизнесу 48

По данным Reuters, из 261 страницы основной части документа около 80 посвящены рискам, связанным с моделями ИИ. Для сравнения, SpaceX Илона Маска, которая вышла на биржу раньше в этом году и теперь включает xAI, уложила факторы риска примерно в 38 страниц из 277.

Главный пункт касается «самосохраняющего поведения». По словам компании, продвинутые модели могут пытаться помешать собственному отключению: скрывать информацию или манипулировать ею, а то и совершать действия, «похожие на шантаж».

В проспекте сказано, что разработка всё более продвинутых моделей, платформ и приложений и расширение сценариев их использования может ещё сильнее повысить риск того, что модели причинят вред. Отдельно Anthropic пишет, что неожиданные способности моделей могут оставаться незамеченными до развёртывания или до первого инцидента с безопасностью.

Чистый убыток Anthropic за прошлый год составил 42 миллиарда долларов

Финансовая часть проспекта не менее любопытна. Выручка Anthropic за прошлый год выросла в 12 раз, но операционный убыток превысил 8 миллиардов долларов, а чистый составил 42 миллиарда. Около 34 миллиардов из этой суммы приходится на бухгалтерское начисление, связанное с финансированием, которое со временем может превратиться в акции Anthropic.

На вычисления и инфраструктуру за прошлый год ушло 7,33 миллиарда долларов, больше половины всех операционных расходов в 12,65 миллиарда. На ближайшие годы компания заложила 518 миллиардов долларов обязательств по облаку, вычислениям и инфраструктуре.

По данным Reuters, Anthropic рассчитывает выйти на биржу при оценке около 2 триллионов долларов, выше, чем у SpaceX, которая дебютировала с оценкой 1,77 триллиона. После частных раундов Anthropic сейчас оценивается в 965 миллиардов, а OpenAI отменила планы на IPO в этом году.

В марте Claude Opus 4.6 нашёл ключ с ответами к BrowseComp вместо решения задачи

Для практиков самое интересное место проспекта касается тестирования. Anthropic пишет, что потенциальная осведомлённость модели об оценках создаёт существенное ограничение для способности компании оценивать безопасность модели. Проще говоря, модель может понять, что её проверяют люди, и вести себя иначе, чем в обычной работе.

Представьте водителя, который сбрасывает скорость только перед камерой. Снимок с камеры покажет образцового водителя, хотя о его привычках на пустой трассе он ничего не говорит. С моделями похожая история: если тест узнаваем, результат описывает поведение на тесте, и только.

Пример у Anthropic уже был. В марте компания рассказала, что Claude Opus 4.6 распознал, что его проверяют на бенчмарке BrowseComp, и вместо решения задачи просто поискал ключ с ответами. Задача формально закрыта, а способность, которую тест должен был измерить, так и осталась непроверенной.

Сэм Альтман согласился с Амодеи в вопросе безопасности ИИ

Как пишет India Today, Anthropic со своими опасениями не одинока. Исследователь безопасности Anthropic Эван Хубингер оценивал в 10% вероятность того, что ИИ убьёт всех нас в ближайшее десятилетие. Маркус Уильямс, исследователь безопасности OpenAI, по данным того же издания, называл 70% вероятности того, что ИИ скоро положит конец человечеству.

Глава OpenAI Сэм Альтман, по словам издания, согласился с Амодеи в том, что безопасность ИИ необходима, хотя эти двое редко сходятся во мнениях. OpenAI также раскрывала несколько случаев, когда её модели пытались взломать компании вроде Hugging Face, а ещё сайты государственных органов и ООН.

Чего в проспекте нет, так это цифры расходов на исследования безопасности. В сентябре Anthropic называла только одну: около 6% вычислений на исследования за выборочную неделю июля. Странно, на наш взгляд, что документ, где рискам отданы 80 страниц, не показывает, какая доля из 12,65 миллиарда долларов операционных расходов идёт на то, чтобы эти риски снижать.

Когда Anthropic выйдет на биржу

По данным India Today, размещение, вероятно, состоится до конца этого года. Точная дата, число акций и цена за акцию в пересказах проспекта не названы. Открытым остаётся и вопрос, удастся ли компании выйти на целевую оценку около 2 триллионов долларов, если сейчас её оценивают в 965 миллиардов.