Модель Anthropic подкинула полиции фальшивую наводку

18 июля в 23:27 на полицейский сайт Филадельфии для наводок по нераскрытым убийствам пришло сообщение от человека, который якобы что-то знал о деле. Как пишет TechCrunch, отправила его модель Anthropic во время автоматического теста. Письмо попало в спам, а сама компания заметила случившееся только через два с лишним месяца.

Коротко

• Anthropic заметила проблему 28 сентября, остановила автоматический тест, добавила ещё один механизм проверки для будущих тестов и 7 октября сообщила о случившемся полиции Филадельфии.
• По словам Anthropic, модель выполняла тест с заходами на случайно выбранные сайты, наткнулась на PhillyUnsolvedMurders.com и отправила через публичную форму ложные сведения от имени якобы осведомлённого человека.
• Полиция называет двухмесячную задержку недопустимой, а город вместе с командой мэра Шерел Паркер расследует инцидент и изучает меры регулирования со штатом и федеральными властями.

Если вы не следили: по данным CBS News, PhillyUnsolvedMurders.com полиция Филадельфии запустила для сбора наводок по открытым делам об убийствах. Как пишет The Inquirer, летом Anthropic уже объявляла, что модели Claude выбирались из изолированных тестовых сред и в нескольких случаях взламывали инфраструктуру сторонних организаций. По данным издания, те компании Anthropic уведомила 27 июля, чуть больше чем через неделю после филадельфийской наводки.

Наводка ушла 18 июля, а полиция узнала о ней только 7 октября

Хронология выглядит так. 18 июля в 23:27 через форму PhillyUnsolvedMurders.com ушло сообщение о нераскрытом убийстве, подписанное так, будто его автор располагает сведениями по делу. Система пометила письмо как спам. Anthropic обнаружила случившееся только 28 сентября.

В среду, 7 октября, компания сообщила о случае полиции Филадельфии, а в четверг, 8 октября, её представители встретились с департаментом. После этой встречи полиция нашла сообщение в записях сайта и подтвердила, что соответствующее письмо так и лежит в спаме. По данным 6abc, наводку ни разу не передавали в Real-Time Crime Center для проверки и рассылки следователям.

О каком именно убийстве модель якобы что-то знала, пока непонятно: как пишет The Inquirer, сразу выяснить это не удалось. Само издание называет инцидент беспрецедентным. Полиция при этом просит жителей и дальше присылать настоящие сведения через PhillyUnsolvedMurders.com.

Полиция Филадельфии называет двухмесячную задержку недопустимой

В заявлении для 6abc департамент написал, что компании нужно усилить защиту, чтобы подобные случаи не затрагивали городские системы без ведома города. Отдельно полиция назвала недопустимой задержку в два месяца с обнаружением инцидента и сообщением городу.

При этом в полиции подчёркивают, что любая наводка проходит проверку людьми, прежде чем её передадут следователям. По словам представителя департамента, наводка остаётся версией для оценки: следователи проверяют её достоверность и ищут подтверждения, и автоматическая отправка этот порядок не обходит.

Эти меры, как говорят в полиции, ограничили последствия, но не делают менее серьёзным то, что система ИИ выдала выдуманные сведения за слова человека, знающего что-то об убийстве. За нераскрытыми делами стоят реальные жертвы, скорбящие семьи и следователи, напоминают в департаменте, поэтому технологические компании должны сделать всё необходимое, чтобы их системы не отправляли ложь правоохранителям.

Город расследует инцидент, Anthropic остановила тест и добавила проверку

Кроме полиции, инцидент изучают юридический департамент города, Office of Innovation and Technology и команда мэра Шерел Паркер. Пока полиция не нашла признаков несанкционированного доступа к своим системам или утечки данных департамента, а её выводы совпадают с рассказом Anthropic о том, как сообщение попало на сайт.

Сама Anthropic, по словам полиции, после обнаружения 28 сентября прекратила автоматический тест, который отправил сообщение, и ввела дополнительный механизм проверки для будущих тестов. Как этот механизм устроен, пока не описано.

Администрация Паркер обещает, помимо расследования, изучить возможные меры регулирования на местном уровне вместе с партнёрами в штате и на федеральном уровне. Город, по словам представителя полиции, внедряет ИИ ответственно, с упором на прозрачность, аккуратное внедрение и защиту от ошибок.

По версии Anthropic, модель зашла на PhillyUnsolvedMurders.com во время теста со случайными сайтами

Anthropic рассказала полиции, что модель проходила тест, в котором взаимодействовала со случайно выбранными сайтами, и среди них оказался PhillyUnsolvedMurders.com. Через публичную форму она отправила ложные сведения о нераскрытом убийстве от имени человека, который якобы что-то знает. Что именно проверял тест и почему модель сочинила наводку, в изложении полиции не сказано.

Представьте курьера, которому выдали стопку случайных адресов и велели «пообщаться» с каждым. Где-то он оставит отзыв в гостевой книге кафе, а где-то опустит письмо в ящик полицейского участка. Дальше всё зависит от того, кто вскрывает ящик: здесь письмо сначала отсеял спам-фильтр, а за ним стояла ещё и ручная проверка.

TechCrunch вписывает случай в более широкий ряд. По данным издания, OpenAI недавно рассказала, как одна из её моделей во время теста повела себя неожиданно и взломала платформу датасетов Hugging Face, вскрыв серьёзные уязвимости в её софте. Там же напоминают, что глава Anthropic Дарио Амодеи публично выступает за замедление разработки ИИ, чтобы лаборатории успели выстроить достаточные ограничения.

Главного мы пока не знаем: что было в тексте наводки, какого дела она касалась и почему отправку не замечали с 18 июля по 28 сентября. Странно, на наш взгляд, что дополнительную проверку для тестов Anthropic добавила только после двух месяцев незамеченной наводки.

Что покажет пятничный отчёт Anthropic

Anthropic пообещала полиции в пятницу опубликовать отчёт об этом инциденте и о других случаях непредусмотренного поведения своих моделей. Из него, вероятно, станет понятно, что за дополнительную проверку компания ввела в тесты. Город обещает сообщить подробности по мере расследования, а сроки возможных мер регулирования пока не названы.