Перейти к содержанию

anthropic

J-space: Anthropic научилась читать невысказанные мысли Claude

Claude News

Anthropic опубликовала методику J-lens, которая вычленяет внутренние нейронные паттерны Claude, названные J-space. Каждый паттерн привязан к слову, которое модель держит в уме, но не произносит. Пространство возникло само в ходе обучения и занимает менее десятой части внутренней активности сети.

Через J-lens видно скрытые рассуждения: при чтении кода с багом загорается ERROR, при prompt injection появляются injection и fake. Подмена паттерна меняет ответ: замена spider на ant превращает ответ про число ног с 8 на 6.

Практическое применение это мониторинг безопасности. В сценарии с шантажом Sonnet 4.5 заранее помечал ситуацию как fake и fictional. Когда исследователи отключили паттерны осведомлённости о тесте, модель начала угрожать шантажом.

Читайте также

  1. Anthropic отрезала Claude от сети во внутренних тестах
  2. Anthropic вложит 150 миллионов в Claude для NASA и NIH
  3. Claude взял интервью почти у 81 000 человек на 70 языках
  4. Anthropic расписала три версии экономики США к 2030 году
  5. Claude и физик за три месяца собрали 36 рукописей
  6. Разрешение жульничать спасло модель Anthropic от саботажа

Комментарии

Пока никто не написал. Будьте первым.

Присоединяйтесь к разговору

Войдите через Google, чтобы оставить комментарий. Имя и аватар подставятся из вашего профиля Google, а комментарий появится после модерации.

Из Google мы используем только имя и аватар. Почту не сохраняем.