Задачи OpenAI для Comparator решаются подменой определения

9 октября автор блога Ohaithe сообщил, что как минимум семь задач-челленджей из математического релиза OpenAI можно сдать в Comparator, ничего не доказав по существу. Для этого достаточно переписать определение, на котором держится формулировка теоремы. Насколько ему известно, раньше об этом нигде не говорили.
У каждой задачи есть JSON-файл с двумя списками. В theorem_names перечислены теоремы, которые нужно доказать, а определения из definition_names можно свободно переопределять. В этот второй список попали и определения, которые должны оставаться фиксированными, и Comparator принимает решение с любым их содержимым. Отдельно автор упоминает ElementaryPositivity: там тоже есть дыра в определении, но её он считает корректной, потому что главная цель задачи - терм, несущий данные, вместо логического высказывания.
Пример автора - файл EuclideanFiveColor.lean. В нём всего два элемента. Первый - определение ProperColoring: раскраска плоскости (она задана как ℂ), при которой любые две точки на расстоянии 1 получают разные цвета. Второй - теорема no_proper_five_coloring о том, что такой раскраски в пять цветов не существует; вместо доказательства в ней стоит sorry, заглушка Lean на месте недостающего доказательства. В JSON теорема числится в theorem_names, а ProperColoring - в definition_names. Автор заменил тело определения на False. После этого утверждение «нет раскраски, для которой верно ложное» закрывается одной строкой, и Comparator, как он проверил, такое решение принял.
Здесь подмену легко заметить и вручную, оговаривается автор: определение стоит в самом начале файла, который импортирует только Mathlib. Но ещё в шести задачах Comparator сломан так же и пропускает тривиальное доказательство. Среди них Bernier, LogspaceEquality (равенство классов сложности L, RL и BPL), KServer, Naimark и OccupiedOverlapRokhlinSpinAngle. В последней одно определение содержит законный sorry, но это обязательство доказать, а не место под определение, которое нужно заполнить. Comparator при этом позволяет свободно менять остальную часть определения, а в списке остаются ещё два определения без всяких sorry.
6 октября OpenAI выложила в репозитории openai/math рукописи, полученные невыпущенной внутренней моделью, и сама предупредила в README, что часть неформализованных результатов «может содержать проблемы». Там же говорится примерно о 42% формализованных основных результатов и даны инструкции к Comparator для дополнительной проверки. Lean проверяет, что каждый шаг следует из заданных допущений, поэтому подменённое определение превращает задачу в проверку другого, пустого утверждения.
Правки в релизе уже были: 7 октября OpenAI отозвала три рукописи из-за ошибки в знаке. По README, исправления выходят новыми версиями, а прежние остаются доступными.
«Я не вижу закономерности в том, что попало под эту ошибку, и часто такую особую, сломанную обработку получают лишь несколько определений из большого файла», - пишет автор.
Дальше
Claude Code пустил в проекты весь лист ожидания Pro и Max, Видео
Всех подписчиков Pro и Max из листа ожидания проектов Claude Code пустили внутрь разом. Тех, кто не успел записаться, ждёт новая очередь, и пускают из неё только по мере появления мощностей.
Читайте также
- У 722 математических статей OpenAI нет адреса для писем
- Одна ошибка в знаке стоила OpenAI трёх статей по математике
- OpenAI открыла на GitHub математику невыпущенной модели
- GPT-6 Astra набрала 66,7% против 43,8% у GPT-5.6 Sol
- GPT-6 Astra спроектировала гаджет для Codex без правок людей
- Отключённые рассуждения дали Astra 96,7% на ARC-AGI-3
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

