Lean-версия доказательства OpenAI разошлась с текстом

Математики из команды Андерса Хансена (Кембридж) нашли расхождение между двумя версиями доказательства OpenAI для уравнений Навье-Стокса. В лемме 8.6 текстовой версии некое значение должно быть меньше m + 4, где m - целое число, а в Lean-коде то же значение ограничено уже m + 5, и это условие слабее, сообщил 9 октября New Scientist. Компилирующийся Lean-код при таком расхождении подтверждает только записанное в Lean, а доказательство из PDF приходится проверять отдельно, людьми.
Само решение исследователи не оспаривают. «Мы не говорим, что доказательство на естественном языке неверно. Но и не говорим, что оно верно», - объясняет Хансен. Обе версии вполне могут оказаться верными доказательствами, просто разными. Претензия в другом: OpenAI подаёт их как одно и то же, и в описании репозитория на GitHub сказано, что он «содержит формализации на Lean 4 результатов, представленных в статье „Finite time blowup for Navier-Stokes“».
Результат OpenAI к тому же касается уравнений с внешней силой, а условия премии тысячелетия Институт математики Клэя сформулировал для уравнений без неё. Премия остаётся невостребованной, и OpenAI сказала, что на миллион долларов претендовать не собирается.
Почему код уходит от текста
По словам Хансена, модель обязана выдать Lean-код, который компилируется: проверяющая программа должна пройти его целиком без единой ошибки. Если при автоформализации, автоматическом переводе текста доказательства в код, какой-то фрагмент не компилируется, модель ищет обходной путь, даже ценой отступления от написанного в статье. Расхождение в лемме 8.6 команда считает именно таким неверным переводом. Оценка «меньше m + 5» пропускает больше значений, чем «меньше m + 4», поэтому в коде доказано более слабое утверждение.
«Оно пытается мне помочь, но этим не помогает», - говорит Хансен. Команда показала, что ChatGPT может молча поменять логику рассуждения при переводе и так скрыть ошибки. В длинном и сложном доказательстве такую подмену трудно заметить, не разобрав обе версии подробно.
Что подтверждает компиляция
Кевин Баззард из Имперского колледжа Лондона советует разделять формулировку теоремы и её доказательство. Формулировку обычно несложно перевести в Lean и проверить, как в случае Великой теоремы Ферма. Если вы убедились, что утверждение в Lean записано верно, и доказательство к нему компилируется, доказательству можно доверять. О версии на естественном языке, выложенной в PDF, это ничего не говорит. «Я уверен, что задача Навье-Стокса решена правильно, - говорит Баззард. - В том, что верно доказательство, описанное в PDF, я уверен куда меньше».
OpenAI объявила о результате 8 сентября, и, как писала тогда Quanta Magazine, уверенность математикам давала именно формальная проверка в Lean. В том же месяце команда 8Braid заново прогнала формальные проверки, и Lean-код приняли два ядра, Nanoda и штатное ядро Lean. Обе проверки относятся к коду, и текст в PDF они, по логике Баззарда, не подтверждают.
Две недели против 88 часов
Все доказательства, которые пишут большие языковые модели, придётся читать людям, и это огромная дополнительная нагрузка на математиков, считает Хансен. Команда начала с того, что попросила ChatGPT найти возможные несоответствия между версиями, а затем проверяла каждое вручную. Многие кандидаты при разборе оказались согласованными. «Перебирать всё это вручную было кошмаром», - вспоминает Хансен. На одно настоящее расхождение ушло около двух недель, а агенты OpenAI, по словам компании, генерировали доказательства 88 часов.
«OpenAI хвастается тем, как быстро получила результат, но это только часть процесса», - говорит Александр Бастунис из Королевского колледжа Лондона. Его коллега по команде Фабиан Чирчелли из Кембриджа видит в формализации попытку заменить рецензирование, при котором доказательство читают люди. По его словам, работа команды показывает, что автоформализация с помощью ИИ эту роль выполнять не может.
В OpenAI изданию сказали, что о несоответствии знают и что ни одно из двух доказательств оно недействительным не делает. Компания обещает исправлять ошибки в текстовой версии по мере их обнаружения и продолжать формализацию 722 математических статей, выложенных на той же неделе. Lean-доказательства есть лишь у части из них, и вручную их тоже не проверяли.
Дальше
Модель Anthropic написала полиции ложную наводку об убийстве
Модель Anthropic оставила полиции Филадельфии ложную наводку об убийстве 18 июля, а заметили это только 28 сентября. Полиция называет двухмесячную задержку неприемлемой, отчёт Anthropic обещает в пятницу.
Читайте также
- Погрешность до m/4 не ломает шаг в доказательстве OpenAI
- Учёные считают, что ChatGPT ускоряет их работу в 1,9 раза
- OpenAI раздаст учёным бесплатный ChatGPT Plus
- OpenAI пустила четыре лаборатории внутрь своих моделей
- Astra помогла физику с вопросом, открытым полвека
- Джейлбрейки для кибератак получили шкалу опасности от FMF
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

