OpenAI даёт 5 миллионов долларов на разбор математики ИИ

OpenAI выделяет 5 миллионов долларов на новую математическую инициативу Simons Foundation. На эти деньги математики будут проверять и разбирать результаты ИИ, в том числе работы, которые OpenAI сама выложила в начале октября.

Как сказано в посте OpenAI в X, деньгами распоряжается фонд, и гранты выдаёт тоже он. По формулировке OpenAI, цель в том, чтобы прогресс ИИ превращался в более глубокое человеческое понимание и новые открытия. Для этого математикам нужно изучать результаты ИИ, понимать их и развивать дальше.

Деньгами распоряжается Simons Foundation, OpenAI даёт модели и вычисления

В анонсе описаны два канала поддержки. Первый канал финансовый: деньги идут на воркшопы, конференции и специальные программы, а отбирает и финансирует их Simons Foundation. Второй канал технический: исследователи, которых поддерживает фонд, получат доступ к моделям OpenAI и её вычислительным ресурсам.

Больше подробностей в анонсе нет. Не сказано, как 5 миллионов разделят между программами, когда начнётся отбор, какие модели откроют и сколько вычислений получит каждая группа.

Разбирать предстоит больше 700 рукописей одной невыпущенной модели

Архив опубликовали 6 октября. По данным AICoder, в тот день OpenAI выпустила материал «Sharing AI progress in mathematics» и открыла репозиторий openai/math под лицензией Apache-2.0. Мы писали о релизе 6 октября.

В репозитории на GitHub OpenAI объясняет, откуда взялся архив: на прежних математических тестах результаты упёрлись в потолок, поэтому компания стала проверять модель на открытых исследовательских задачах. Там же описан и сам процесс. Внутренняя модель, которую OpenAI не выпускала, работала по в основном фиксированной процедуре и получила примерно 4 000 задач. На один результат в среднем уходило около трёх часов размышлений уровня ChatGPT Pro. Затем выдачу сгруппировали в семейства и отобрали то, что прошло порог «достаточной значимости».

Из фиксированной процедуры, согласно репозиторию, есть исключения: область без нулей дзета-функции Римана и доказательство гипотезы Ходжа для абелевых многообразий с комплексным умножением. Текст про область Re(s) > 11/12 люди отредактировали, чтобы его было легче читать.

Даже объём архива источники называют по-разному. В README репозитория указано 719 рукописей в 372 семействах, а Yahoo Tech и TechSpot пишут о 722. TechSpot также сообщает, что, по словам OpenAI, средний результат потребовал малую долю вычислений от прежней попытки компании с задачей Навье-Стокса, на которую ушли миллионы долларов. По данным TechCrunch, та же внутренняя модель решила ещё более 100 открытых проблем почти во всех областях математики.

За первую неделю из архива отозвали три статьи

Проверка устроена неравномерно. Около 42% основных результатов формализованы в Lean, языке, в котором правильность доказательства проверяет компьютер. Остальные существуют только как обычный математический текст, и в репозитории OpenAI сама предупреждает:

Some of the unformalized results could have issues.

Исправления вносятся в репозиторий как новые версии, и правок уже много. 8 октября мы писали, что ошибка в знаке в работе о классах Вейля обрушила её ключевой аргумент и ещё две статьи про поверхности K3. OpenAI отозвала все три, а в 14 рукописях исправила доказательства и формулировки. В тот же день автор статьи с arXiv заявил, что семейства 335 и 336 обобщают его результаты без ссылки. Сообщить об этом авторам ему было некуда: поддержка OpenAI не дала адреса для переписки.

Формализация тоже не защищает от всех ошибок. 9 октября New Scientist со ссылкой на команду Андерса Хансена из Кембриджа сообщил, что в лемме 8.6 доказательства по Навье-Стоксу в тексте стоит «меньше m + 4», а в Lean «меньше m + 5». Тогда же разбор показал, что некоторые задачи-челленджи для Comparator можно «решить» подменой определения. Похоже на экзамен, где студенту разрешили переписать условие задачи.

Есть и общие ограничения. Модель не выпущена, рукописи не прошли рецензирование, а сводки рассуждений опубликованы только для 10 результатов. Критики опасаются, что люди просто не успеют проверять исследования с той скоростью, с какой их производит ИИ.

Математики просили не тестировать закрытые модели, OpenAI отказалась

Ещё 22 сентября мы писали, что OpenAI работает с независимой группой математиков, которая советует, как проверять и подавать результаты. В том же месяце компания перестала спонсировать математический хакатон в Caltech после открытого письма с критикой мероприятия. OpenAI называет группу мостом между собой, математическим сообществом и широкой публикой. Перед релизом компания консультировалась с независимой Консультативной группой по математике и ИИ при Институте перспективных исследований, и правила правок и цитирования составлены с учётом её советов.

По данным TechSpot, эта группа появилась после открытого письма «A Severe Misalignment of AI in Mathematics», которое подписали больше двух десятков лауреатов Филдсовской премии. Математики возражают, что закрытые модели ставят результат выше понимания, а исследователи не могут изучить системы, которые выдают доказательства. Издание пишет, что примерно за неделю до релиза группа выпустила рекомендации, собранные по отзывам сотен исследователей. В них разработчиков просят прекратить проверять закрытые модели на серьёзных математических задачах. OpenAI с этим не согласилась и заявила, что важно и дальше оценивать её внутренние передовые модели на математике и других науках.

Реакция на сам архив разделилась. Алекс Конторович из Ратгерского университета написал, что человек с такими результатами сразу получил бы Филдсовскую премию. Другой комментатор возразил, что большинство решённых задач были концептуально близки к решению и математики вскоре закрыли бы их сами с помощью новых инструментов.

Судя по всему, грант Simons отвечает на одну претензию из письма лучше, чем на другую. Деньги на воркшопы помогут закрыть разрыв между производством рукописей и их проверкой. Но доступ к моделям, как он описан в анонсе, означает возможность ими пользоваться. Изучать устройство системы, которая выдала доказательства, он не даёт, а именно на этом настаивали авторы письма. Пока формализовано около 42% основных результатов, а сводки рассуждений есть только для 10, проверять математикам придётся в основном готовые тексты.

Всё, что известно об инициативе, уместилось в два абзаца исходного поста OpenAI. Там не сказано, как разделят сумму, когда объявят первые программы и войдёт ли в доступ для исследователей та внутренняя модель, которой дали около 4 000 задач и которая породила архив.