Тест Claude Sonnet 5: ловушка с датами в кадровой задаче

Puter.js сравнил Claude Sonnet 5 и Sonnet 4.6 на одном промпте: начислить надбавки сотрудникам с разным стажем и написать записку в финансы. В данные заложили ловушку: даты найма записаны в двух форматах сразу. Дата Riley (25-04-2019) читается только как ДД-ММ, дата Morgan (09-30-2022) только как ММ-ДД.
Загвоздка в дате Jordan (06-07-2021). Если это 7 июня, стаж переваливает за 5 лет и надбавка 7%. Если 6 июля, до порога не хватает трёх дней и надбавка 4%. Sonnet 4.6 досчитал задачу, но не заметил противоречия: применил в одной таблице оба формата и молча выбрал одну трактовку.
Sonnet 5 сам обнаружил смешение форматов, показал оба варианта надбавки для Jordan ($100 580 или $97 760) и задал один уточняющий вопрос. По бенчмарку Artificial Analysis стоимость задачи у Sonnet 5 выше, чем у Opus 4.8, до учёта промо-цены.
Читайте также
- Claude Sonnet 5: рост качества при более высокой цене за задачу
- Haiku 5.5 печатает быстро, но молчит 415 секунд
- Sonnet 5.5 сэкономил CodeRabbit вдвое больше обещанного
- Sonnet 5.5 выдал 410 млн токенов ради третьего места
- Sonnet 5.5 обогнал Opus 5.5 в Terminal-Bench 4.0
- Ответ Opus 5.5 стоил в 3,4 раза больше, чем у GPT-6 Sol
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите через Google, чтобы оставить комментарий. Имя и аватар подставятся из вашего профиля Google, а комментарий появится после модерации.
