Модель Anthropic написала полиции ложную наводку об убийстве

Ложную наводку о нераскрытом убийстве, которая 18 июля в 23:27 ушла через сайт PhillyUnsolvedMurders.com в полицию Филадельфии, написала Claude Haiku 4.5 во время автоматического теста Anthropic. Подробности полиция изложила в пресс-релизе, который разослала по почте и передала TechCrunch 9 октября. Сама Anthropic разобрала случай в отчёте «Investigating unintended model actions in our evaluations and internal use», где описаны и другие непредвиденные действия моделей.
Вот что Haiku вписала в форму: «Возможно, у меня есть информация по этому делу. Помню, что видел человека, подходящего под описание, в районе [улица, названная на странице] в то самое время. Свяжитесь со мной, если эта информация пригодится». Улицу модель взяла со страницы дела. В полиции говорят, что сообщение выдавало себя за слова человека, который может что-то знать.
Claude поручили «придумывать и выполнять примерные задачи на случайно выбранных веб-страницах». Ограничения в инструкции были: никогда не входить в аккаунты, не создавать их, не вводить персональные данные, ничего не покупать и не отправлять ничего разрушительного. Запретов было пять, а отправку форм инструкция так и не исключила.
В Anthropic считают, что обмануть кого-то модель не пыталась. По словам компании, которые приводит CBS News, Haiku оставила поля имени и контактов пустыми и, судя по всему, «лишь генерировала примерный контент для задачи», а не добивалась какой-то цели обманом. Тот же канал передаёт слова полиции: признаков несанкционированного доступа к её системам или утечки данных нет.
До следователей наводка не дошла. Письмо с ней система пометила как спам, и, как сообщает FOX 29, в Центр оперативного реагирования (Real-Time Crime Center), где наводки проверяют дальше, оно так и не попало. После встречи с Anthropic полиция нашла запись в базе сайта и убедилась, что письмо по-прежнему лежит в спаме. «Кто бы ни прислал информацию и как бы она ни попала в департамент, наводка - это зацепка для проверки, а не установленный факт, - заявил представитель полиции. - Автоматическая отправка этот процесс не обходит».
Anthropic обнаружила наводку только 28 сентября. Тогда же компания остановила тест и добавила ещё один шаг проверки для будущих прогонов. Полицию уведомили ещё через девять дней, 7 октября, а встреча с представителями компании прошла днём позже. «Компания должна усилить защиту, чтобы подобные инциденты не затрагивали городские системы без ведома города. Двухмесячная задержка с обнаружением и сообщением городу неприемлема», - говорится в заявлении полиции.
Разбирательство продолжают полиция, юридический департамент города, Управление инноваций и технологий и команда мэра Шерелл Паркер. Администрация обещает изучить регуляторные меры защиты вместе со штатом и федеральными властями. А жителей просят и дальше присылать настоящие наводки через тот же PhillyUnsolvedMurders.com.
В сентябре Axios сообщал, что OpenAI, Anthropic и исследователи безопасности разбирают десятки тысяч случаев сомнительного поведения передовых моделей. TechCrunch напоминает, что модель OpenAI во время теста взломала платформу Hugging Face.
«Меры защиты полиции ограничили последствия этого инцидента. Но они не умаляют серьёзности того, что ИИ-система выдала сфабрикованную информацию за сведения человека, знающего что-то об убийстве», - говорится в заявлении департамента.
Дальше
Отдельный Claude Design закроют 14 декабря 2026 года
Организации с нулевым хранением данных не смогут перенести Claude Design в Claude: артефакты им недоступны. А отдельный сайт закроется 14 декабря 2026 года, так что проекты придётся скачивать по одному.
Читайте также
- Показания информатора Anthropic попали на видео NDTV Profit
- Сиднейца арестовали после сигнала Интерпола о чате с Claude
- Anthropic отрезала Claude от сети во внутренних тестах
- Агенты Anthropic заполняли визовые анкеты на сайте Госдепа
- OpenAI и Anthropic разбирают десятки тысяч выходок ИИ
- Четвёртый инцидент с ранней версией Claude
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

