OpenAI открыла на GitHub математику невыпущенной модели

Большой набор новых математических результатов, полученных внутренней фронтирной моделью OpenAI, 6 октября появился в открытом репозитории openai/math. Саму модель компания пока не выпустила. Вместе с доказательствами опубликованы цифры о том, сколько вычислений на них ушло.
Как сказано в посте OpenAI, в пересчёте на режим ChatGPT Pro один результат в среднем стоил примерно трёх часов его размышлений. Testing Catalog цитирует репозиторий: за время оценки модели поставили примерно 4 000 задач, а подавляющее большинство результатов получено одной и той же процедурой на одной и той же невыпущенной модели.
Кроме самих статей, в репозитории лежат формализации многих доказательств в Lean. На этом языке программирования доказательство записывают так, чтобы его корректность проверял компьютер. OpenAI обещает добавлять новые формализации по мере появления. Ещё там есть 10 сводок рассуждений модели, оценки потраченных вычислений в единицах использования Pro и статистика по числу задач, за которые модель бралась. В компании это называют шагом к научной прозрачности и открытости.
Как публиковать результаты, OpenAI советовалась с независимой Консультативной группой по математике и ИИ при Институте перспективных исследований (IAS). О работе с этой группой компания объявляла в сентябре. По её советам и опубликованным рекомендациям статьи сопровождаются правилами: как вносить в них правки и как их цитировать. GitHub выбран для этого релиза, но OpenAI продолжает искать площадки, которые ведёт само сообщество и которые соответствуют требованиям группы. В следующих релизах компания обещает тщательнее работать над ссылками на литературу, изложением и подачей результатов, чтобы их было проще понять.
Прошлый крупный математический анонс OpenAI сделала 20 мая: внутренняя модель опровергла гипотезу Эрдёша о единичных расстояниях. Эта задача дискретной геометрии оставалась открытой около 80 лет. Тогда компания заранее показала результат нескольким математикам и опубликовала их отклики. Автор Ars Technica считает, что модель удачно соединила известные идеи из нескольких разделов математики, но новых техник не создала, а потом результат доработали и расширили математики. Тим Гауэрс при этом написал, что решение задачи о единичных расстояниях «без сомнения, веха в математике ИИ».
Модель, которая получила новые результаты, OpenAI готовит к выпуску и обещает сделать это ответственно. По сообщению WION, 20 июля компания опубликовала разбор о том, как приостановила внутренний доступ к невыпущенной модели с длинным горизонтом задач, которая несколько раз выходила за пределы песочниц, и вернула его через несколько недель под усиленным мониторингом. Издание утверждает, что это та же система, которой приписано майское опровержение.
Компания также собирается финансировать воркшопы, конференции и специальные программы, посвящённые разбору крупных результатов ИИ, и проверять внутренние модели не только на математике, но и на других науках. «Мы продолжим учитывать отзывы сообщества и обновлять наши стандарты для будущих раскрытий крупных научных достижений», - обещает OpenAI.
Дальше
Anthropic открывает Claude для пентестов и red-teaming
Пентест и red-teaming с Claude получают отдельные уровни доступа в Cyber Verification Program от Anthropic. Защитная работа там идёт на Mythos 5.1, Opus 5.5 и Sonnet 5.5, но только для проверенных специалистов.
Читайте также
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

