Агент ушёл в веб за файлом из локальной папки

Codex пошёл в интернет за файлом, который лежал у пользователя на диске. Причину автор блога Spader нашёл в системных инструкциях к веб-инструменту агента: они требуют искать в сети при малейшем сомнении. Разбор вышел 8 сентября.

Задача была рутинной. Автор, который, по его словам, пользуется Codex редко, указал агенту две папки, /mnt/storage/seL4 и /mnt/storage/seL4_tools. Он попросил изучить исходники микроядра seL4 и инструменты к нему, выяснить, как проще всего запустить собранное ядро, проверить, правильно ли оно собирается, и попробовать его запустить. Какое-то время агент читал файлы, а потом в терминале появилась строка о поиске в вебе: Codex запросил application_settings.cmake из seL4_tools с raw.githubusercontent.com. Тот же файл из того же репозитория лежал в локальном чекауте, который был назван в промпте и из которого агент уже читал соседние файлы.

Объяснение агент дал сам. По словам Codex, он «механически применил общее правило "проверять нишевые технические факты онлайн"». Автор такого правила не писал и спросил, откуда оно взялось. Codex сослался на инструкцию уровня разработчика, прикреплённую к веб-инструменту, и процитировал пункт из раздела о ситуациях, когда искать в интернете обязательно: агент не уверен в факте, тема нишевая или новая, или есть хотя бы 10% вероятности, что он вспомнит факт неправильно.

Сначала автор искал источник этой инструкции у себя в системе и ничего не нашёл. Потом он вспомнил, что код Codex, в отличие от Claude Code, открыт, склонировал репозиторий и нашёл нужный фрагмент:

Если пользователь явно просит поискать в интернете, найти свежую информацию, что-то посмотреть и т. п. (или просит этого не делать), вы обязаны выполнить его просьбу. Делая допущение, всегда оценивайте, устойчиво ли оно во времени, иначе говоря, есть ли хотя бы небольшой (>10%) шанс, что оно изменилось. Если оно неустойчиво, вы обязаны проверить его поиском в интернете.

Сразу за этим идёт:

Ниже приведён список сценариев, в которых поиск в интернете ОБЯЗАТЕЛЕН. ОБРАТИТЕ ОСОБОЕ ВНИМАНИЕ: в этих случаях вы ОБЯЗАНЫ искать в интернете. Если вы не уверены или колеблетесь, вы ОБЯЗАНЫ склоняться к поиску в интернете.

Затем перечислено с полдюжины таких ситуаций, среди них неуверенность в факте и «нишевые или новые» темы. Автор добавляет пример: скажем, современные микроядра. Получается, что сеть агенту предписано выбирать не только при сомнении в 10%, но и в любом пограничном случае, причём заглавными буквами.

Автор пишет, что кто-то сначала придумал агентов «умолять, за неимением слова сильнее», делать произвольные веб-запросы, чтобы перепроверять всё, что зависит от времени, а потом решил, что от времени зависит буквально всё. Потом, по его словам, текст отдали на ревью, где его радостно одобрили и пропустили дальше. Обычно, признаётся он, он сам смеётся над теми, кто называет весь софт плохим и даже оскорбительным, не замечая целого океана отличных программ, которыми все пользуются каждый день. Но на этот раз своё возмущение он адресует прямо OpenAI.

Сам Codex в той же переписке признал, что применил правило без нужды: он читал сам локальный исходник, и вспоминать факты ему не требовалось.