Письмо про «слоп-математику» выбило OpenAI из хакатона

OpenAI 10 сентября отказалась спонсировать Mathathon, студенческий хакатон в Caltech. На него OpenAI и Anthropic вместе выделили 2 миллиона долларов в ИИ-кредитах. Днём раньше действующие и бывшие математики Caltech опубликовали открытое письмо. По их словам, мероприятие, которое спонсируют ИИ-компании, «скорее всего, нанесёт ущерб математическому сообществу».

О выходе из числа спонсоров в четверг сообщил в X Дэн Робертс, руководитель исследований OpenAI. Он написал, что в компании признают: быстрый прогресс ИИ в математике переворачивает привычный уклад в этой области. Теперь, по его словам, OpenAI хочет активнее обсуждать с математиками, как лучше встроить эту технологию в их работу и как рассказывать о её последствиях. Сколько из 2 миллионов приходилось на OpenAI и что будет с этими токенами, в четверг было неясно, сообщает Business Insider.

Что за хакатон

Mathathon анонсировали в начале сентября как «первый хакатон, посвящённый математике исследовательского уровня»: десятки команд должны были браться за трудные математические задачи с помощью ИИ. Идея пришла летом Брайану Чжао, третьекурснику Caltech, который изучает прикладную математику, и его соседу по комнате. Они хотели запереться в подвале и 40 часов подряд решать задачи, как на хакатонах программистов и дизайнеров, рассказывает EdSource.

Хакатон проходит в два тура. В первом команде дают 40 часов и токенов на 20 000 долларов, чтобы решить открытую задачу. Команды с «многообещающими и хорошо объяснёнными» ответами проходят во второй тур. Там они получают шесть месяцев и дополнительные токены. На странице заявки хакатон назван площадкой, где молодые математики учатся «ответственно использовать ИИ-инструменты, чтобы расширить человеческое понимание математики».

«Слоп-математика»

Главная претензия математиков касается того, как ИИ-компании подают свои результаты. Компании заявляют, что их модели решили давние теоретические задачи, а доводить и проверять доказательства оставляют исследователям-людям. Эту практику авторы письма назвали «слоп-математикой». «Когда выкладывают очередной результат, математикам-исследователям приходится вмешиваться: как следует проверять его, распространять, а иногда и полностью опровергать, - говорится в письме. - Этот труд никак не оплачивается, не указывается и не признаётся».

Вторая претензия касается самого хакатона. Математики считают, что он станет нечестной рекламой для ИИ-компаний, которые «присвоят себе заслуги талантливых студентов». По подсчёту EdSource, под письмом собралось 2038 подписей учёных.

Неделя претензий

Письмо вышло после конкретного спора. 8 сентября OpenAI объявила, что её агенты решили задачу Навье-Стокса. Речь об уравнениях 90-летней давности, которые описывают движение жидкостей и газов. Математик из NYU Тристан Бакмастер вместе с коллегой опубликовал работу по этой задаче днём раньше, в понедельник. Во вторник он заявил, что OpenAI могла прийти к решению через его переписку с чат-ботами, в том числе с ChatGPT. OpenAI ответила лишь, что не может исключить, что «обезличенные данные, полученные из использования ими наших продуктов, помогли улучшить наши модели».

Бакмастер оказался не единственным. С похожей претензией выступил второй математик, профессор TU Dresden Андреас Том. Одна из работ, объявленных OpenAI, относится к его области.

Ответ студентов

Организаторы хакатона, многие из которых сами студенты, в четверг ответили своим письмом. Они написали, что не хотели поднимать такой шум. «Мероприятия вроде Mathathon помогают молодым людям не терять интерес к математике, осваивать в ней современные инструменты и не терять надежды в непонятное время, - говорится в ответе. - Мы впервые проводим мероприятие такого масштаба и благодарны за все отзывы».

Позже, уже после сентябрьского спора, студенты изменили формат ноябрьского хакатона. Открытые задачи команды решать не будут. Вместо этого они будут искать альтернативные доказательства для задач, у которых решения уже есть, но остаются неудовлетворительными. Компаний, которые разрабатывают проприетарные ИИ-модели, среди спонсоров не будет.

«Мы решили, что хотим провести мероприятие, которое объединяет математическое сообщество, а не разделяет его», - сказал Чжао.