Тест Claude Sonnet 5: ловушка с датами в кадровой задаче

Puter.js сравнил Claude Sonnet 5 и Sonnet 4.6 на одном промпте: начислить надбавки сотрудникам с разным стажем и написать записку в финансы. В данные заложили ловушку: даты найма записаны в двух форматах сразу. Дата Riley (25-04-2019) читается только как ДД-ММ, дата Morgan (09-30-2022) только как ММ-ДД.
Загвоздка в дате Jordan (06-07-2021). Если это 7 июня, стаж переваливает за 5 лет и надбавка 7%. Если 6 июля, до порога не хватает трёх дней и надбавка 4%. Sonnet 4.6 досчитал задачу, но не заметил противоречия: применил в одной таблице оба формата и молча выбрал одну трактовку.
Sonnet 5 сам обнаружил смешение форматов, показал оба варианта надбавки для Jordan ($100 580 или $97 760) и задал один уточняющий вопрос. По бенчмарку Artificial Analysis стоимость задачи у Sonnet 5 выше, чем у Opus 4.8, до учёта промо-цены.
Дальше
Упоминания GPT-5.6 нашли в коде приложения Codex
Названия GPT-5.6 Sol, Terra и Luna уже зашиты в код приложения Codex, хотя сами модели ещё недоступны. Там же нашли следы поддержки голоса в реальном времени, которую пока дорабатывают.
Читайте также
- Claude Sonnet 5: рост качества при более высокой цене за задачу
- Claude угадывает белки, о которых никто не писал
- Haiku 5.5 заметила утечку, которую пропустил GPT-6.1 Sol
- Fable 5.2 решил тесты как Opus 5.5, но почти вчетверо дороже
- Fable 5.2 обошлась в 13,39 доллара против 3,99 у Astra
- Fable 5.2 спроектировал три устройства без правок схемы
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

