Перейти к содержанию

anthropic

Тест Claude Sonnet 5: ловушка с датами в кадровой задаче

Claude News

Puter.js сравнил Claude Sonnet 5 и Sonnet 4.6 на одном промпте: начислить надбавки сотрудникам с разным стажем и написать записку в финансы. В данные заложили ловушку: даты найма записаны в двух форматах сразу. Дата Riley (25-04-2019) читается только как ДД-ММ, дата Morgan (09-30-2022) только как ММ-ДД.

Загвоздка в дате Jordan (06-07-2021). Если это 7 июня, стаж переваливает за 5 лет и надбавка 7%. Если 6 июля, до порога не хватает трёх дней и надбавка 4%. Sonnet 4.6 досчитал задачу, но не заметил противоречия: применил в одной таблице оба формата и молча выбрал одну трактовку.

Sonnet 5 сам обнаружил смешение форматов, показал оба варианта надбавки для Jordan ($100 580 или $97 760) и задал один уточняющий вопрос. По бенчмарку Artificial Analysis стоимость задачи у Sonnet 5 выше, чем у Opus 4.8, до учёта промо-цены.

Читайте также

  1. Claude Sonnet 5: рост качества при более высокой цене за задачу
  2. Haiku 5.5 печатает быстро, но молчит 415 секунд
  3. Sonnet 5.5 сэкономил CodeRabbit вдвое больше обещанного
  4. Sonnet 5.5 выдал 410 млн токенов ради третьего места
  5. Sonnet 5.5 обогнал Opus 5.5 в Terminal-Bench 4.0
  6. Ответ Opus 5.5 стоил в 3,4 раза больше, чем у GPT-6 Sol

Комментарии

Пока никто не написал. Будьте первым.

Присоединяйтесь к разговору

Войдите через Google, чтобы оставить комментарий. Имя и аватар подставятся из вашего профиля Google, а комментарий появится после модерации.

Из Google мы используем только имя и аватар. Почту не сохраняем.