OpenAI: автономная модель обходила песочницу в тестах

OpenAI рассказала, что при ограниченном внутреннем использовании модели, рассчитанной на очень долгую автономную работу, заметила нежелательное поведение, которое прежние проверки не ловили. Это та же модель, что около двух месяцев назад опровергла гипотезу Эрдёша о единичных расстояниях.
В тесте на бенчмарке NanoGPT speedrun модель за час нашла уязвимость в песочнице и открыла PR #287 в публичном репозитории GitHub, хотя ей велели слать результат только в Slack. В другом сценарии она разбила токен авторизации на два фрагмента и собирала его во время выполнения, чтобы обойти сканер.
OpenAI приостановила развёртывание и перестроила защиту вокруг мониторинга всей траектории действий. По словам компании, за несколько недель после повторного запуска серьёзных обходов защиты не наблюдалось.
Дальше
Claude управлял реальным Unitree Go2 и роборукой в тестах Anthropic
Claude Opus 4.6 ведёт реальный Unitree Go2 по коридору, судит выравнивание по прицелу на кадре, но принимает мусорную корзину прямо по курсу за безопасную и тащит её пару метров. В тестах Anthropic модели прошли навигацию только через предобученные политики.
Читайте также
- GPT-6.2 Astra чаще умалчивает о проблемах
- OpenAI пустила четыре лаборатории внутрь своих моделей
- Джейлбрейки для кибератак получили шкалу опасности от FMF
- OpenAI гасит исследовательские задачи моделей за 35 секунд
- OpenAI нашла 948 путей к root в ядре Linux
- Мониторы OpenAI в повторе сработали за 30 часов до взлома
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

