Puter.js сравнил Claude Sonnet 5 и Sonnet 4.6 на одном промпте: начислить надбавки сотрудникам с разным стажем и написать записку в финансы. В данные заложили ловушку: даты найма записаны в двух форматах сразу. Дата Riley (25-04-2019) читается только как ДД-ММ, дата Morgan (09-30-2022) только как ММ-ДД.
Загвоздка в дате Jordan (06-07-2021). Если это 7 июня, стаж переваливает за 5 лет и надбавка 7%. Если 6 июля, до порога не хватает трёх дней и надбавка 4%. Sonnet 4.6 досчитал задачу, но не заметил противоречия: применил в одной таблице оба формата и молча выбрал одну трактовку.
Sonnet 5 сам обнаружил смешение форматов, показал оба варианта надбавки для Jordan ($100 580 или $97 760) и задал один уточняющий вопрос. По бенчмарку Artificial Analysis стоимость задачи у Sonnet 5 выше, чем у Opus 4.8, до учёта промо-цены.