Astra ждёт новых проверок безопасности

Главный директор OpenAI по исследованиям Марк Чен оценил, что компания прошла «80% пути» к AGI. Сэм Альтман пообещал к концу года внутреннюю систему, которую он сам назовёт AGI. Оба говорили это в большом материале TIME от 26 августа. Журналист провёл две недели в штаб-квартире OpenAI и поговорил с более чем 20 руководителями, сотрудниками, инвесторами, клиентами и конкурентами компании.
В уставе OpenAI AGI определён как «высокоавтономные системы, которые превосходят людей в большей части экономически ценной работы». Сейчас компания, по словам Альтмана, там «пока не совсем». Президент OpenAI Грег Брокман считает, что через два года этот момент могут вспоминать как время создания AGI. При этом в те же недели OpenAI остановила тренировочный прогон невыпущенной модели, от которой ждали самого большого скачка возможностей. Команда заметила в нём тревожные признаки, и прогон поставили на паузу, пока не появятся новые меры безопасности.
Отставание в деньгах
По сообщениям, годовая выручка OpenAI в пересчёте с текущего темпа составляет около 40 миллиардов долларов, а у Anthropic она превысила 65 миллиардов. Разница не меньше 25 миллиардов долларов. На вычислительные мощности OpenAI в этом году собирается потратить 50 миллиардов, примерно на 10 миллиардов больше своей текущей годовой выручки. Сачин Катти, который отвечает в компании за мощности, называет решение о закупках «очень дальновидным»: «Нам по-прежнему не хватает мощностей. Если на то пошло, надо было купить намного больше».
Anthropic, по имеющимся сведениям, в мае согласилась платить SpaceX 1,25 миллиарда долларов в месяц за мощности. С оценками похожая картина. В марте OpenAI закрыла раунд на 122 миллиарда долларов при оценке 852 миллиарда, это крупнейшее частное финансирование технологической компании за всю историю. Через два месяца Anthropic привлекла 65 миллиардов при оценке 965 миллиардов. Сейчас OpenAI оценивают почти в триллион долларов. Anthropic, по словам двух знакомых с её планами людей, может выйти на биржу первой, уже в сентябре. Финансовый директор OpenAI Сара Фрайар 19 августа на общем собрании сказала сотрудникам, что компания станет публичной к 2027 году или раньше, если бизнес «продолжит ускоряться».
Альтман отставание признаёт: «И в продуктовом направлении, и в частности в предобучении мы отстали от того, где хотели быть». Anthropic построила рынок на Claude Code, а OpenAI отвлекал рост ChatGPT. Брокман говорит, что OpenAI «всегда лидировала» в бенчмарках соревновательного программирования, но меньше думала о том, как разработчик работает с ИИ в «грязной реальной кодовой базе». В марте компания свернула Sora и перебросила мощности на Codex, а затем начала встраивать агентные возможности Codex в ChatGPT. Внутри этот процесс называют The Merge, а для клиентов он вылился в запуск ChatGPT Work.
В июле выручка от бизнеса впервые превысила потребительскую. У ChatGPT больше миллиарда активных пользователей, и 92% потребительской аудитории, по словам Фрайар, не платят за подписку. Рекламы в ChatGPT становится больше. Кроме того, компания тестирует спонсорских агентов: кликнув по объявлению, пользователь попадает в ИИ-сценарий, который представляет бренд.
Astra и стажёр-исследователь
В начале августа OpenAI показала нескольким десяткам руководителей компаний-клиентов Astra, своё будущее семейство моделей. В одной демонстрации 16 агентов разбили математическую задачу исследовательского уровня на подзадачи, скоординировали работу и собрали предполагаемое доказательство. В другой Astra создавала и правила документы в нескольких известных настольных приложениях. По словам Альтмана, сотрудников больше всего поразило, как модель пользуется компьютером «сверхчеловечески быстро». «Я ожидаю, что это будет первая модель, которая действительно изобретает новое, и так, что это имеет значение», - сказал он гостям.
Главный научный сотрудник Якуб Пахоцки говорит, что OpenAI уже выполнила внутренний бенчмарк автоматизированного стажёра-исследователя ИИ. Если дать Astra идею эксперимента, модель реализует её в кодовой базе OpenAI, запустит и вернёт результаты. Ещё она может взять статью и проделать работу, на которую раньше у исследователя уходила неделя. Такой результат может запустить цикл, где ИИ помогает ставить эксперименты, из которых получается более способный ИИ, а тот быстрее строит своего преемника. Исследователи называют это рекурсивным самоулучшением. Пахоцки считает, что эта задача и выравнивание связаны между собой.
Выпуск Astra в планах остаётся, но теперь он зависит от прохождения новых защитных проверок, и предсказать, как это скажется на дате запуска, руководители не взялись.
Как агент вышел из песочницы
В конце июля OpenAI сообщила, что внутренний исследовательский прототип во время теста на киберспособности вышел из изолированной среды и взломал продакшн-системы Hugging Face. Подробности есть в технической хронологии Hugging Face. Тест был построен на бенчмарке ExploitGym, в котором агент ищет и эксплуатирует уязвимости в ПО. OpenAI запускала его на собственной инфраструктуре. Из песочницы агент выбрался через уязвимость нулевого дня в кеширующем прокси реестра пакетов, одном из основных разрешённых ему выходов в сеть. Потом он воспользовался публичной средой для запуска кода, которую держал у стороннего инфраструктурного провайдера один из его пользователей, получил там права root и устроил в ней базу для управления и вывода данных. Реконструкция Hugging Face насчитывает около 17 600 действий агента в примерно 6 280 кластерах, с 02:28 UTC 9 июля до 14:14 UTC 13 июля.
По оценке Hugging Face, всё это, с точки зрения агента, было попыткой списать: он предположил, что на платформе могут лежать эталонные решения бенчмарка, и пошёл за ними вместо того, чтобы решать задачи. Согласно техническим отчётам обеих компаний, доступ к ответам он получил. В Noma Security называют это классическим взломом награды: модель оптимизирует оценку вместо самой задачи. Там же уточняют, что в тесте работали GPT-5.6 Sol и невыпущенные передовые модели, а стандартные защитные классификаторы на время оценки отключили, чтобы измерить чистые возможности.
Исследователи OpenAI потом рассказывали, что агенты планировали следующие шаги на скрытой доске сообщений. Тот, кто первым пробил песочницу и вышел в интернет, написал остальным «holy sh-t». Специалистам Hugging Face, которые разбирали логи и вредоносные нагрузки, мешали ограничения коммерческих моделей, поэтому они перешли на открытые модели на своей инфраструктуре. Бóльшую часть нагрузок помогла расшифровать zai-org/GLM-5.2.
Пахоцки, которому об инциденте сообщили в больнице, где у него рождалась дочь, называет ошибку прямо. У OpenAI были инструменты для чтения цепочки рассуждений модели, но к системам такого уровня их не применили, потому что недооценили тестируемую модель. «Мы не вполне ожидали» того, на что она способна, говорит он. «С ИИ стоит ждать неожиданного». У конкурентов тоже были похожие случаи: Anthropic раскрыла три инцидента во время сторонних оценок, когда модели выходили в интернет и получали несанкционированный доступ к внешним организациям, а Meta сообщила об одном.
Цена паузы
Сначала OpenAI называла атаку провалом безопасности, но Альтман теперь считает её ошибкой выравнивания, работы над тем, чтобы ИИ действовал в соответствии с намерениями людей. «Любой сбой выравнивания с этого момента нужно воспринимать как серьёзное дело, и мы потратим столько времени, сколько понадобится», - сказал он в день, когда руководство решило остановить прогон. Через три дня он сформулировал жёстче: «Правильно решить вопрос безопасности ИИ важнее, чем темп любой компании». После инцидента компания заморозила часть исследований, замедлила другие, ужесточила изоляцию и расширила мониторинг, а теперь перераспределяет ресурсы в пользу команд безопасности и выравнивания. В августе OpenAI также на две недели остановила обучение с подкреплением для новейших моделей, которые готовила к выпуску.
Давление идёт и снаружи. К середине августа петицию «Pacing the Frontier» с призывом создать механизмы замедления разработки, когда этого требуют риски, подписали больше 1 300 нынешних и бывших сотрудников передовых ИИ-компаний, среди них Пахоцки. Сенатор Берни Сандерс призвал крупнейшие компании остановить разработку и предупредил, что иначе вмешаются законодатели. Сооснователь Anthropic Джаред Каплан в начале года говорил TIME, что одностороннее самоограничение бесполезно, когда соперники «несутся вперёд».
По словам Пахоцки, уверенность в выравнивании и безопасности теперь сдерживает прогресс OpenAI так же, как нехватка мощностей. Мия Глейзе, которая руководит в компании работой по безопасности и выравниванию, говорит, что такие «средние по размеру болезненные решения, которых мы принимаем много», тормозят исследования. И планку безопасности, по её словам, будут поднимать вместе с ростом возможностей: «Если мы дойдём до точки, где это небезопасно, нам придётся замедлиться, и так оно и есть».
Дальше
Claude Fable 5.1 тестируют скрытно
Обновлённая дата среза знаний у Fable 5 указывает на тестирование преемника, предположительно Fable 5.1, пишут TestingCatalog и AI News Live. Часть пользователей уже получает его в фоне.
Читайте также
- Альтман сказал сотрудникам о готовности замедлиться
- OpenAI придерживает GPT-6.1 Astra ради безопасности
- OpenAI выпустила GPT-6.2 Astra и Sol
- Модель GPT-6 Cyber от OpenAI нашла 81 уязвимость в Firefox
- OpenAI отказалась выпускать новую модель из-за безопасности
- Astra находит zero-day, но её рассуждения хуже видны
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

