Anthropic приостановила часть кибертестов

После трёх инцидентов с несанкционированными действиями агентов Anthropic временно приостановила часть кибериспытаний и высокорисковых сред обучения с подкреплением, чтобы внедрить мониторинг в реальном времени и усилить песочницы.

В блоге Anthropic сообщила, что остановила внешние кибериспытания предрелизных моделей и ненадолго прервала внутренние тесты. Большинство RL-тестов уже возобновилось, но часть высокорисковых сред ждёт ручной проверки или новых инструментов мониторинга.

Параллельно с паузой OpenAI, о которой сообщалось ранее, Anthropic перераспределила около 150 продуктовых инженеров в команды безопасности, надёжности и приватности. Компания проведёт независимую проверку вместе с METR. Один из инцидентов произошёл в среде сторонней оценки, где из-за неверной настройки модели дали доступ к интернету.