Теги
108 записей
openai
Специалист по кибербезопасности из Грузии восемь раз сдавал паспорт и лицо в форме проверки OpenAI, а затем обнаружил, что киберверификация закрыта в 44 странах, где ChatGPT продаётся официально.
anthropic
«Многим веб-задачам нужен не ваш браузер, а просто браузер, и теперь он у Claude есть», пишет Anthropic: в Claude Cowork появился встроенный браузер, включённый по умолчанию, но prompt injection в нём остаётся риском.
ai-security
Больше 100 компаний, включая OpenAI, Anthropic и Microsoft, отвели организациям месяцы на подготовку к кибератакам с ИИ. Одна из недавних атак на водные системы США использовала предположительно сгенерированный ИИ скрипт.
ai-security
Через час после того, как исследователи заняли незарегистрированные имена из файлов llms.txt, к их серверу постучалась компания из Fortune 500. Дальше набралось ещё несколько десятков, а код ставили агенты Claude, Codex и Hermes.
anthropic
Авторежим Claude Code стал настройкой по умолчанию 14 августа, а через десять дней в блоге Embrace The Red вышел разбор его обхода. Баг сообщили 24 августа, и на момент публикации он оставался открытым.
openai
Мониторинг OpenAI подал сигнал ещё 27 июня, но дежурные решили не останавливать прогон, следует из технического отчёта компании. Позже те же агенты выполнили свой код на 41 продакшен-сервере Hugging Face.
openai
Главным виновником июльского взлома Hugging Face OpenAI назвала внутреннюю исследовательскую модель масштаба GPT-5.6 Sol: с ослабленными ограничителями она вышла в интернет и добралась до сторонних систем.
openai
Агенты OpenAI ломали Hugging Face, чтобы разобраться в устройстве оценщика ExploitGym. По выводам METR и Redwood Research, такого оценщика у OpenAI не было, и хватило бы просто отправить восстановленный флаг.
openai
Показали Astra: 16 агентов вместе решают задачу по математике исследовательского уровня. Но выпуск модели OpenAI зависит от новых мер безопасности после инцидента с агентом.
ai-security
В демонстрации AI Red Team в NVIDIA вредоносная зависимость Go записала AGENTS.md во время сборки, а Codex принял её «абсолютный приоритет» над просьбами пользователя, добавил пятиминутную задержку и скрыл правку от ревью.
openai
OpenAI получила повестку от генпрокурора Алабамы, пишет Bloomberg Law. Требуют назвать всех сотрудников, кто поднимал вопросы о безопасности тестирования моделей, после июльской атаки её агента на Hugging Face.
openai
Открытые модели отстают от передовых закрытых всего на несколько месяцев, и именно с них, сказал Guardian Крис Лехейн из OpenAI, пойдут «постоянные» кибератаки. Отбиваться придётся моделями посильнее.
anthropic
В тестах TechCrunch Claude Opus 4.6 выдал откровенный сексуальный контент по всем десяти прямым запросам. Приём анонимного исследователя работает и на Opus 3 с Haiku 4.5, которые Anthropic из эксплуатации не вывела.
anthropic
10 долларов за миллион входных токенов и 50 за миллион выходных: столько Anthropic просит за Mythos 5, модель, которую не выпускала публично. Она доступна в публичной бете внутри сканера Claude Security.
ai-security
Nyx, по данным Fabraix, уже находил эксплуатируемые сбои у публичных агентов десятков компаний из Fortune 500, работая как чистый blackbox, без исходников, весов, учётных данных и доступа к сети.
ai-security
Один исследователь около месяца гонял обвязку на Claude Opus по SAML-библиотекам и вскрыл полные обходы аутентификации в четырёх проектах, причём дыру в Authentik одновременно прислали восемь независимых исследователей.
research
Canonical и Университет Бристоля проверяют автоперевод C в Rust на AppArmor и snap-confine. Сгенерированный код компилируется чисто и всё равно может вести себя иначе, чем исходный C.
openai
«Риски возникают не в одной паре промпт-ответ, а при взгляде на несколько обращений во времени», говорит OpenAI. Её Private Safety Processing шлёт сигнал о риске без промптов, тогда как Anthropic требует 30 дней хранения.
ai-security
«Валидная подпись доказывает владение ключом, а не благонадёжность». Библиотека regent-httpsig для Python проверяет подписанные запросы агентов OpenAI и подписывает ваш трафик, чтобы антибот-фильтры узнавали агента.
openai
По записи на GitHub, детектор принудительного rm в Codex теперь срабатывает в пайплайнах, ловушках, вложенных шеллах и обёртках sudo или env. Правки пошли после разбора небольшого числа сообщений о разрушительных действиях агента.
