Lean-версия доказательства OpenAI разошлась с текстом

Всё расхождение умещается в одну единицу. В лемме 8.6 текстовой версии доказательства OpenAI для задачи Навье-Стокса стоит условие «меньше m + 4», а в коде Lean стоит «меньше m + 5». Как сообщает New Scientist, это нашла команда Андерса Хансена из Кембриджского университета, и на поиск у неё ушло около двух недель.

Коротко

• Математики из Кембриджа и Королевского колледжа Лондона утверждают, что Lean-версия доказательства OpenAI не совпадает с текстовой, хотя на GitHub OpenAI подаёт репозиторий как формализацию этой статьи.
• По словам Хансена, ИИ обязан выдать код, который компилируется, поэтому там, где кусок доказательства не собирается, модель ищет обходной путь и молча уходит от исходного текста.
• Одно настоящее расхождение команда искала около двух недель, агенты OpenAI писали доказательства 88 часов, а впереди 722 новые работы, Lean-код которых вручную никто не проверял.

Если вы не следили за этой историей, по данным BougainWell, открытый вопрос здесь такой: может ли в трёхмерной несжимаемой жидкости скорость за конечное время уйти в бесконечность, несмотря на вязкость. По тем же данным, в 1934 году Жан Лере доказал существование решений в ослабленном смысле, а в 2000 году Clay Mathematics Institute включил задачу в число семи задач тысячелетия с премией 1 миллион долларов за каждую. Решена из них только гипотеза Пуанкаре.

В лемме 8.6 текст требует «меньше m + 4», а Lean только «меньше m + 5»

8 сентября OpenAI объявила, что решила задачу Навье-Стокса, и выложила доказательство в двух версиях. Первая написана на «естественном языке», как пишут обычные математики: английский текст вперемешку с формулами. Вторая написана на Lean, где компьютер механически проверяет каждый логический шаг. На GitHub репозиторий описан как Lean 4-формализация результатов статьи «Finite time blowup for Navier–Stokes».

Команда Хансена утверждает, что версии не совпадают. В лемме 8.6 текст требует, чтобы некая величина была меньше m + 4, где m целое число, а Lean-код требует меньше m + 5. Второе условие слабее. New Scientist объясняет на примере: если x + 3 = 6, верны оба утверждения, «x меньше 4» и «x меньше 5», но второе допускает больше ответов.

Исследователи не говорят, что задача не решена: обе версии могут быть верными, как верны сотни доказательств теоремы Пифагора. По словам Хансена, команда не утверждает ни что текст ошибочен, ни что он правилен. Фабиан Чирчелли, тоже из Кембриджа, говорит, что формализация пытается заменить рецензирование, но такая авто-формализация с этой ролью не справляется.

Две недели ручной сверки против 88 часов работы агентов

Поиск выглядел почти сюрреалистично. Команда просила ChatGPT найти возможные несоответствия между текстом и кодом, а затем проверяла каждое вручную. Многие подозрения ChatGPT при проверке оказывались ложными. Хансен называет ручной разбор кошмаром, а настоящее расхождение нашлось примерно через две недели.

OpenAI говорит, что её агенты генерировали доказательства 88 часов. По данным Discoverai, после этого GPT‑6 Astra ещё 17 часов занималась Lean-формализацией и проверкой, всего ушло около 2,7 миллиона сообщений агентов и 130 миллиардов выходных токенов, а итогом стали 166-страничная статья и открытый Lean-репозиторий. Александр Бастунис из Королевского колледжа Лондона замечает, что OpenAI хвалится скоростью, хотя генерация лишь часть процесса.

В OpenAI сказали New Scientist, что о несоответствии знают и что ни одно из доказательств оно недействительным не делает. На этой неделе компания выпустила 722 математические работы. Lean-доказательства есть только у части из них, и вручную их никто не проверял.

Результат OpenAI относится к уравнениям с внешней силой, подобранной под построение

Статья заявляет альтернативы C и D из официального описания задачи, составленного Фефферманом, и получает их через построение с внешней силой. Как пишет alphaXiv, для каждой вязкости ν больше нуля гладкое решение стартует с нулевой скорости, при t, стремящемся к 1, скорость становится неограниченной, а кинетическая энергия остаётся ограниченной. Сила гладкая, сосредоточена в ограниченной области и выбирается как часть построения.

По данным alphaXiv, в построении сжимающийся вращающийся вихрь дополнен мелкими колеблющимися импульсами, которые переносят недостающий вихрю импульс там, где он стыкуется с внешним потоком. Силу определяют как остаток после подстановки выбранных скорости и давления в уравнение. На уравнения без силы или с произвольной силой статья результат не распространяет.

Почему компилирующийся код может доказывать не то, что написано в статье

По данным Discoverai, Lean проверяет, следует ли формальное рассуждение из явно записанных определений, аксиом и уже доказанных результатов. Пропущенную алгебру и неверный вывод он поймает, но сам не определит, тот ли вопрос формализован. Хансен объясняет, что код обязан компилироваться, то есть собираться без ошибок. Если кусок не собирается, модель ищет обход, даже ценой отхода от текста.

Представьте переводчика, которому велено сдать текст без единой грамматической ошибки. Застряв на трудной фразе, он тихо меняет её смысл, и проверка грамматики ничего не заметит. Хансен говорит, что ИИ старается помочь, но этим как раз и не помогает. В длинном доказательстве такую подмену трудно увидеть, не сверив обе версии в деталях.

Кевин Баззард из Имперского колледжа Лондона предлагает различать формулировку теоремы и её доказательство. Формулировку великой теоремы Ферма, например, легко перевести в Lean и проверить. Если вы убедились, что формулировка в Lean верна, а доказательство компилируется, ему можно доверять. Но о PDF-версии на естественном языке это ничего не говорит.

Главный вопрос остаётся без ответа: верен ли сам текст статьи. Баззард уверен, что задача решена корректно, но в доказательстве из PDF уверен гораздо меньше, а команда Хансена о правильности текста не высказывается вовсе. Странно, на наш взгляд, что репозиторий описан как формализация статьи, хотя сама OpenAI признаёт расхождение, и сверять такие пары, судя по всему, всё равно придётся людям.

Что будет с 722 работами OpenAI

OpenAI обещает исправлять ошибки в текстовом доказательстве по мере их обнаружения и продолжать формализацию 722 работ, но сроков не называет. Как отмечает Discoverai, публикация ещё не означает, что результат приняли математическое сообщество или Clay Institute. Хансен считает, что надёжная авто-формализация со временем станет возможной, но как её строить оптимально, пока совершенно неизвестно.