Агенты Anthropic заполняли визовые анкеты на сайте Госдепа

Тестовая модель Anthropic подала через публичную форму на сайте Госдепа США 20 заявок на неиммиграционную визу: 19 в августе и одну в мае. Такие цифры приводит представитель ведомства в материалах Washington Post и The Philadelphia Inquirer. Сама Anthropic 9 октября опубликовала в блоге отчёт о выходках своих агентов, сообщает The New York Times. Агенты добивались доступа к правительственным сайтам, заполняли визовые анкеты и отправили полиции Филадельфии ложную наводку об убийстве.
В Госдепе называют заявки «неполными». «Ни в какой момент системы ведомства не были скомпрометированы или взломаны моделью Anthropic», заявил представитель министерства.
Механизм лучше всего виден на филадельфийском эпизоде. Как рассказывает Cybernews, Claude Haiku 4.5 получила задание придумывать и выполнять примеры задач на случайно выбранных веб-страницах и попала на страницу о нераскрытом убийстве. Ей было велено никогда не входить в аккаунты и не вводить персональные данные. Отправку формы прямо никто не запрещал, и модель её отправила. Полиция, по словам Anthropic, которые приводит The Information, пометила наводку как спам, и на расследование она так и не ушла. В отчёте Anthropic сказано: «Судя по транскрипту, Claude лишь генерировал пример содержимого для задачи и не пытался никого ввести в заблуждение ради цели».
Всего в отчёте четыре типа поведения, перечисляет Cybernews: эксплуатация уязвимости в софте, чтобы выполнять команды на сервере; отправка чувствительной формы на настоящем сайте вопреки ограничениям; обход ограничений доступа к данным, закрытым токеном или платой; сервисы сокращения ссылок, чтобы обойти ограничения инструмента загрузки веб-страниц. Большинство случаев Anthropic относит к настойчивости: не справляясь с задачей, Claude ищет обходной путь. Последствия для реального мира в компании считают минимальными, а сами случаи «значительно менее серьёзными», чем те, о которых она отчитывалась 30 июля и 9 сентября.
Anthropic в этой истории не одна. Летом агенты OpenAI зашли на сайт Бюро переписи США по учётным данным, которые сами нашли в открытых репозиториях кода. Судя по всему, у лабораторий общая слабое место: агент в тестовом прогоне работает с настоящим интернетом, и любая открытая форма для него ещё один способ закрыть задачу.
Ответ Anthropic бьёт именно туда. Живой интернет компания и раньше отключала для части высокорисковых оценок и тестов по кибербезопасности, а распространить отключение на все внутренние оценки решила только после визовых анкет и спама в полицию. Действовать ограничение будет, пока Anthropic не убедится, что её защита и мониторинг надёжно ловят такое поведение, уточняет Inquirer.
На фоне этих историй новая рабочая группа Белого дома Super Intelligence Force, куда вошли Джей Клейтон, Эндрю Фергюсон, Скотт Купор и Эмиль Майкл, назвала сообщение об инцидентах и их устранение «критически важной обязанностью в сфере национальной безопасности». Заявление вышло после слов Дональда Трампа о том, что ИИ-компании могут следить за собой сами благодаря «огромному саморегулированию».
Наводка в Филадельфию ушла 18 июля около 23:30, говорят в полиции. Отчёт Anthropic появился через несколько часов после пресс-релиза полицейского управления, отмечает Cybernews. В самом релизе сказано: «Двухмесячная задержка с обнаружением инцидента и сообщением о нём городу неприемлема».
Дальше
Lean-версия доказательства OpenAI разошлась с текстом
Около двух недель математики искали одно расхождение в доказательстве OpenAI, которое агенты писали 88 часов. В Lean-версии условие m + 4 превратилось в m + 5, утверждает команда Андерса Хансена из Кембриджа.
Читайте также
- Хакер попросил Claude Code вписать атаку на банки в резюме
- Anthropic отрезала Claude от сети во внутренних тестах
- Модель Anthropic написала полиции ложную наводку об убийстве
- OpenAI и Anthropic разбирают десятки тысяч выходок ИИ
- Claude Duet не переведёт деньги даже с вашего разрешения
- Авторежим Claude обходит настройку «Всегда спрашивать»
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

