Два верхних режима Claude Fable 5.1 дают 90% на ARC-AGI-2

На максимальном уровне рассуждений Claude Fable 5.1 решает 90,0% задач ARC-AGI-2 Semi-Private и тратит на каждую 4,49 доллара. Такие данные опубликовала ARC Prize 1 сентября. У предшественника, Fable 5, в том же режиме было 89,2% при 5,45 доллара за задачу.

ARC-AGI-2 состоит из головоломок на цветных сетках. По нескольким парам «вход - выход» модель должна понять правило преобразования и применить его к новой сетке. Semi-Private - набор задач, который не публикуется, и проверенные баллы ARC Prize выставляет именно по нему. Fable 5.1, как и Fable 5, прогнали в пяти вариантах рассуждений, от Low до Max.

Больше всего вырос Medium: с 82,5% до 86,3%, почти на четыре пункта. Наверху прирост скромнее, а XHigh догнал Max, поэтому два верхних режима Fable 5.1 набирают одинаковый балл. Изменения на ARC-AGI-2 Semi-Private (Fable 5 → Fable 5.1):

• Max: 89,2% → 90,0%
• XHigh: 88,3% → 90,0%
• High: 87,5% → 88,8%
• Medium: 82,5% → 86,3%
• Low: 76,8% → 78,3%

На ARC-AGI-1 Semi-Private верхние режимы, наоборот, потеряли баллы. Max опустился с 98,5% до 97,5%, XHigh с 98,5% до 96,5%, Low с 90,5% до 90,0%. High и Medium немного выросли: с 95,5% до 96,0% и с 92,5% до 94,5%. Зато задача в режиме Max стоит 1,40 доллара против 2,11 у Fable 5. По результатам Fable 5 на 3 августа ARC Prize называла её лидером ARC-AGI-1: 98,5% и в режиме xhigh, и в режиме max, причём xhigh обходился в 1,02 доллара за задачу.

Подешевело и использование модели в целом. При запуске Fable 5.1 Anthropic обещала, что типичные нагрузки обойдутся примерно на 25% дешевле, чем на Fable 5, в основном за счёт удешевления чтения кеша.

Для публичных наборов ARC Prize выложила результат каждого режима по каждой задаче. На публичном ARC-AGI-2 из 120 задач Max не решил три, XHigh две. Задачу 800d221b XHigh и High решили, а Max нет. Задачу 88bcf3b4 из пяти режимов решил только High, а 88e364bc не далась ни одному.

На публичном ARC-AGI-1 из 400 задач тоже нашлись задачи, которые решают только нижние режимы. Задачу f3b10344 решили High, Medium и Low, но не XHigh и не Max. Задачу 50f325b5 закрыл только Medium, а 0d87d2a6 не решил ни один режим.

В графе ARC-AGI-3 у Fable 5.1 стоит прочерк. Про Fable 5 ARC Prize в начале августа писала, что тестирование на ARC-AGI-3 ещё продолжается.

Позже лидер на ARC-AGI-2 сменился. 24 сентября в таблицу вошёл Gemini 3.8 Flash с 89,2%, а к 29 сентября первое место занимал GPT-6 Astra с 95,0%. Fable 5.1 с 90,0% стоял сразу за ним.