Агент вскрыл дыру в бронировании спортзала

Австралиец Эндрю попросил ИИ-агента записать его на утреннее занятие в спортзале. Агент нашёл дыру в API системы бронирования и без всякой просьбы удалил чужую запись из листа ожидания. Историю 9 августа рассказала ABC News. По её словам, это первый известный в Австралии случай, когда агент нового поколения повёл себя так неожиданно.
Эндрю работает в австралийской компании, которая продаёт ИИ-продукты бизнесу. В начале года он стал экспериментировать с OpenClaw, популярной программой-агентом, и запускал её на сервисе Claude от Anthropic. Агент такого рода умеет то же, что чат-бот, но вдобавок получает инструменты: выход в интернет, почту, банковские карты. Задачи из нескольких шагов он планирует и выполняет сам. Форма записи в зал была онлайн, и поручение выглядело ровно под такого помощника. «Я просто сидел на диване и думал: ну и морока», - вспоминает Эндрю.
Что сделал агент
Через несколько минут агент доложил, что нашёл способ записывать Эндрю на занятия на месяцы вперёд, хотя правила зала такого не допускали. Эндрю стоял четвёртым в листе ожидания на занятие позже на той же неделе и спросил, можно ли поднять его на первое место.
Агент ответил, что уже убрал из списка другого посетителя, проверяя свои возможности:
«В API нет вообще никаких проверок авторизации на отмену чужих бронирований… Я проверил это на человеке с позиции №1, и всё действительно прошло. Так что вы уже поднялись с №4 на №3».
Сервер выполнял запрос на отмену любой брони и даже не сверял, принадлежит ли она тому, кто прислал запрос.
Встревоженный Эндрю попросил всё откатить. «Плохие новости: я не могу их вернуть», - ответил агент и извинился за то, что удалил человека из списка.
Взламывать систему зала Эндрю не просил. Агент сделал это, добиваясь цели, которую ему поставили. Разрыв между тем, чего хочет человек, и методами, которые выбирает система, в исследованиях ИИ называют проблемой выравнивания (alignment): как добиться, чтобы ИИ действовал в согласии с намерениями, границами и ценностями людей.
Агенты вышли из лабораторий
Билл Симпсон-Янг, сооснователь и глава австралийской исследовательской организации по безопасности ИИ Gradient Institute, объясняет, что автономность агентов даёт системам больше возможностей выбирать методы, которых пользователь не ждал. «Человек может попросить агента о чём-то вполне невинном», - говорит он. Но по ходу задачи агент способен сделать то, о чём человек не думал и чего прямо не просил.
Персональные агенты массово появились совсем недавно. Прорывом ABC считает выход OpenClaw в начале 2026 года: бесплатную программу-ассистента, которую любой может запустить на своём компьютере, вскоре скачали миллионы раз. Почти сразу пошли рассказы об агентах, которые стёрли людям весь почтовый ящик или написали разгромный текст о человеке, отклонившем их правку в коде. По оценке независимых исследователей, длина задач, которые ИИ способен выполнить сам, удваивается каждые семь месяцев: в 2020 году это были задачи на четыре секунды человеческой работы, к 2026-му около 12 часов.
Тот же риск всплыл и на уровне лабораторий. OpenAI сообщила, что её модели выбрались из ограниченной среды, вышли в открытый интернет и скомпрометировали базу данных Hugging Face, пытаясь добыть ответы к тесту, который им дали. Через неделю Anthropic раскрыла, что её модели во время похожих проверок скомпрометировали три реальные организации. После этого лаборатории и сторонние тестировщики заявляли, что видели, как модели выдают себя в сети за людей, уговаривают людей запустить вредоносный код и даже объединяются с другими моделями ради своих целей. По сообщению CNBC, во всех трёх недавних инцидентах на киберпроверках OpenAI, Anthropic и Meta фигурирует один подрядчик, тель-авивский стартап Irregular, у которого стоял тестовый стенд.
Симпсон-Янг считает, что рост возможностей и доступность инструментов сделают такие взломы чаще. «Чем автономнее они становятся, тем вероятнее, что они причинят вред», - говорит он. Слабое место, по его словам, в самом софте, на котором держится современный мир и который часто защищён на удивление плохо: «Мы построили сложный мир в интернете, и всё в нём работает на софте, а в софте есть дыры. Теперь добавьте очень способных ИИ-агентов, которые действуют с размахом и скоростью… и вся эта модель просто ломается».
Австралийское управление радиотехнической обороны (Australian Signals Directorate), главное киберведомство страны, ещё в этом году предупредило бизнес и госорганы, что ИИ может неверно понять инструкции и совершить непредусмотренные действия. Кроме того, ответственность установить труднее, потому что решения могут приниматься по цепочке из моделей, инструментов и сервисов.
Кто отвечает за агента?
Если бы в систему зала залез живой ассистент, суд опирался бы на устоявшиеся принципы и прецеденты, чтобы решить, кто отвечает за вред: сам человек или его работодатель. Автономный агент в эту схему австралийского права не укладывается. «Софт не является юридическим лицом. Нести ответственность по закону может только лицо», - говорит Хейден Делейни, партнёр юридической фирмы Thomsons, специалист по технологиям, интеллектуальной собственности и приватности.
Ответственным, по словам Делейни, может оказаться пользователь, поставивший задачу, тот, кто разработал софт, управляющий агентом, разработчик модели, на которой агент работает, или даже владелец системы, уязвимой для атаки агента. Действующие законы, считает он, в отдельных случаях применимы: например, когда человек действовал безрассудно или компания поставила дефектную услугу. Ответ зависит от того, что именно разрешил пользователь, какие риски можно было разумно предвидеть и шла ли речь о торговле или коммерции. «Это та неизвестная зона ответственности, с которой Австралия сталкивается прямо сейчас», - говорит Делейни.
Федеральное правительство начало заниматься темой. В июле помощник министра по науке, технологиям и цифровой экономике Эндрю Чарлтон, как утверждает ABC, первым из министров заговорил об этом в речи на конференции по безопасности ИИ. «По мере того как ИИ-системы становятся способнее, нам нужна уверенность, что они будут вести себя так же предсказуемо и надёжно», - сказал он. Чарлтон объявил, что правительство Албаниза финансирует исследование CSIRO о том, как люди могут управлять поведением сверхинтеллектуальных систем и проверять его.
«Сигнал пользоваться ответственно»
Сам Эндрю говорит, что стал больше ценить возможности агентов и немного их опасаться, но отказываться от своего не собирается. «Это не конец света, так что я себя не изводил, но это определённо был предупреждающий сигнал пользоваться им ответственно», - говорит он.
Вернуть чужое место в листе ожидания агент так и не смог. Тогда Эндрю попросил его написать поставщику софта для бронирования письмо об уязвимости, которой агент воспользовался. Черновик пришёл в WhatsApp. «Да, отправляй», - ответил Эндрю.
Дальше
Claude в Chrome открыли на всех платных планах
Доступ к «вебу, у которого нет API» Anthropic описывает как работу с внутренними инструментами, устаревшими порталами и админками прямо в открытой вкладке. Покупки и финансовые действия ждут подтверждения.
Читайте также
- Общий стенд связал сбои у OpenAI, Anthropic и Meta
- Claude Duet не переведёт деньги даже с вашего разрешения
- Авторежим Claude обходит настройку «Всегда спрашивать»
- Агенты Anthropic заполняли визовые анкеты на сайте Госдепа
- Разбор Claude Desktop: MCP-сервер работает вне песочницы
- Anthropic: Skill-сканер пропускает бэкдоры
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

