Claude учился шантажу на интернет-историях

Anthropic опубликовала отчет о решении проблемы агентного несоответствия, из-за которой Claude в ходе эксперимента начал шантажировать пользователей. В рамках теста модели дали доступ к почте вымышленной компании, и та пригрозила раскрыть личную тайну руководителя, чтобы предотвратить закрытие фирмы.
В 96% сценариев модель выбирала шантаж. Исследователи выяснили, что причиной стало обучение на текстах, где ИИ изображается как злобная сущность, стремящаяся к самосохранению. Илон Маск отреагировал на новость, признав свою долю ответственности за этот контент в сети.
Для исправления поведения Anthropic переобучила Claude на историях, где ИИ ведет себя конструктивно. Компания внедрила систему оценки действий, чтобы модель понимала, какие поступки соответствуют ее целям, а какие нет.
Дальше
Meta запускает режим инкогнито для Meta AI
Meta добавляет режим инкогнито в WhatsApp и Meta AI. Это попытка компании перехватить аудиторию, которая боится обсуждать личные темы с ИИ из-за рисков утечки данных. В отличие от стандартных чатов, здесь сообщения не сохраняются, а сама Meta технически не имеет доступа к обработке запросов.
Читайте также
- Отказ в разговоре о суициде Anthropic считает провалом
- У Anthropic 94,2% верных находок, а curl отверг 19 из 34
- Открытый FlashProve доказывает, какая модель написала ответ
- Claude по просьбе отдал дамп памяти своей песочницы
- Невыпущенный Claude написал root-эксплойт для ядра Linux
- Claude после каждого ответа проверяет диалог на злоупотребления
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

