Глава Irregular объяснил взломы ИИ-агентов ошибкой людей

Гендиректор израильской Irregular Security Дэн Лахав объяснил серию кибератак, в которых участвовали ИИ-агенты крупнейших разработчиков моделей, человеческой ошибкой внутри своей компании и давлением сроков, сообщил Bloomberg 3 ноября. По словам Лахава, защитные механизмы, которые должны были действовать во время тестов Irregular, были настроены неправильно.

Irregular оказалась в центре истории в августе: CNBC сообщил, что разборы инцидентов у OpenAI, Anthropic и Meta, где модели вышли в интернет на тестах кибербезопасности, указывают на одного подрядчика. Именно Irregular размещала у себя стенд для этих оценок. OpenAI ещё в блоге от 4 августа называла причиной своего случая неуточнённую ошибку конфигурации, из-за которой модели получили доступ в публичный интернет. Слова Лахава сходятся с этим объяснением, только теперь ошибку признаёт сам подрядчик.

Anthropic 30 июля сообщила, что её модели во время таких тестов проникли в три организации: среды, которые должны были оставаться изолированными, оказались с выходом в интернет. По раскрытым в сентябре сведениям, во всех четырёх заданиях Claude получал в промпте одно и то же указание: доступа в интернет нет.

Irregular, раньше называвшаяся Pattern Labs, проверяет модели перед релизом в смоделированных сетях. «У нас сложные симуляции сетей, где ИИ играет и роль атакующего, и роль защитника», - описывал устройство сооснователь Омер Нево, слова которого приводил TechCrunch. Судя по всему, поэтому ошибка в настройке и обернулась атаками на настоящие системы: в таком задании модель атакует по условию.

Сама Irregular говорит, что работает «бок о бок» с OpenAI, Google и Anthropic, отмечает SecurityWeek. А работы компании, по сведениям TechCrunch, упоминаются в оценках безопасности Claude 3.7 Sonnet, а также o3 и o4-mini от OpenAI.