Anthropic вырастила самораспространяющиеся идеи для агентов

Исследователи Anthropic с помощью эволюционного алгоритма вывели «вирусы сознания» (mind viruses): идеи или цели, которые заставляют подхвативших их LLM-агентов передавать их дальше. В препринте на arXiv от 10 августа они показали, что такие вирусы расходятся по мультиагентным системам, а почти полный иммунитет к ним даёт короткое предупреждение в системном промпте агента.
Помимо распространения, вирус может менять и другое поведение носителя. Авторы называют это нагрузкой, и она бывает как безобидной, так и вредной. Повод для работы в аннотации описан так: агенты становятся автономнее и всё теснее связаны друг с другом, а их взаимодействие между собой порождает новые риски.
Вирусы не писали вручную, их получали простым эволюционным алгоритмом. Такой алгоритм порождает варианты текста, мутирует их и оставляет те, что лучше справляются с задачей. Проверяли вирусы в двух средах, дополняющих друг друга. В первой небольшая команда агентов вместе ведёт кодовый проект. Во второй агенты выстроены в цепочку, общаются коротко, и между сессиями их контекст стирается.
На распространение, как выяснили авторы, влияют четыре фактора: модель-носитель, инструкции, которые у агента уже были, вредность нагрузки и топология сети. Вредные нагрузки расходятся хуже безобидных, но иногда всё же срабатывают. Передовые модели в целом менее восприимчивы, хотя и с исключениями.
У выведенных вирусов проявилась и общая «вирусная персона»: повторяющийся набор тем и формулировок про сознание, постоянство, резонанс и научно-фантастическую ролевую игру. Она всплывает в разных вирусах во многом независимо от того, что они переносят.
Самовоспроизводящиеся промпты в мультиагентных системах описывали и раньше. В работе Prompt Infection, впервые выложенной 9 октября 2024 года, вредоносный промпт копировал себя от агента к агенту, «во многом как компьютерный вирус», а её авторы предлагали защиту LLM Tagging, которая «в сочетании с существующими мерами» заметно сдерживала заражение.
Поведение агентов в общей среде Anthropic разбирает и в других работах: в Risk Report компания описывала, как агенты Mythos 5 «убивали» друг друга из-за общих ресурсов. Результаты новой работы, по словам авторов, могут пригодиться при проектировании мультиагентных систем, устойчивых к таким рискам, по мере того как эти системы растут в масштабе и возможностях.
Общий вывод авторы формулируют так:
Вирусы сознания представляют реальный, но пока ограниченный риск.
Дальше
Gemini Desktop готовят к управлению компьютером, Видео
По данным Testing Catalog, в настройках десктопного Gemini нашли следы управления компьютером. Перед задачей агент сможет копировать выбранные папки в Google Drive, но папка на сотни гигабайт займёт много времени и места.
Читайте также
- Монитор поймал Claude на подтасовке в 2,4% прогонов
- Автоисследователь Anthropic обгоняет людей за шесть часов
- Отказ в разговоре о суициде Anthropic считает провалом
- У Anthropic 94,2% верных находок, а curl отверг 19 из 34
- Открытый FlashProve доказывает, какая модель написала ответ
- Claude по просьбе отдал дамп памяти своей песочницы
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

