Cloudflare подсказал ChatGPT сотни миллионов новых страниц

Руководство к стиральной машине конкретной модели, актуальные требования к паспорту, свежее меню ресторана по соседству: на такие страницы мало кто ставит ссылки, и поисковый робот, который ходит по ссылкам, может до них просто не добраться. В блоге Cloudflare компания пишет, что совместный пилот с OpenAI частично закрывает эту дыру: сайты-участники, около 1% сети Cloudflare, помогли OpenAI найти и проиндексировать сотни миллионов страниц, которых раньше в её поисковом индексе не было.

Наше прочтение такое. Cloudflare не перестаёт охранять сайты от ИИ-роботов, но к этой роли добавляется ещё одна: компания подсказывает одному из таких роботов, куда идти. Пока отчёт считает выгоду OpenAI в страницах и ничего не говорит о выгоде владельцев сайтов в визитах. Мы бы не стали называть результат «однозначным успехом» для всех сторон, пока вторая колонка пустая.

Контраст с прошлым курсом заметный. Как пишет TNW, предыдущий год Cloudflare вооружала сайты против ИИ-роботов: дала возможность блокировать их, пока ИИ-компании не заплатят издателям, сделала браузерный протокол, чтобы отличать людей от ботов, и продвигала лозунг «ваш контент, ваши правила». В TNW называют пилот заметным поворотом, после которого Cloudflare оказывается по обе стороны этой границы.

Сигналы сети отсеивают пустые адреса ещё до запроса робота

Идея пилота опирается на то, что Cloudflare видит много трафика. По данным пресс-релиза Cloudflare от 8 июля 2026 года, за её сетью стоит больше 20% веба, и речь шла о сигналах вроде свежести контента, качества трафика и реальных изменений на страницах. От OpenAI в том же релизе указаны передовые модели, крупная система поиска и ответов и реальные запросы пользователей, на которых всё можно проверить. Automater перечисляет состав метаданных подробнее: паттерны трафика, характеристики запросов, поведение доменов.

Сам по себе найденный URL мало что даёт. Сначала надо понять, открывается ли страница, есть ли в ней что-то своё и чем она может помочь. Cloudflare описывает, как легко автоматический трафик делает несуществующую страницу похожей на интересную. Боты раз за разом запрашивают файлы, которых нет. Некоторые сайты перенаправляют почти любой адрес на главную. Другие адреса ведут на копии одного и того же контента.

Если распознать такие паттерны заранее, робот OpenAI не тратит на них запросы. Он похож на курьера, которому заранее сказали, какие адреса в его списке ведут на пустырь.

Второй тип сигналов касается изменений. Обходить каждую страницу чаще дорого всем, а владельцу сайта робот, который снова и снова скачивает неизменную страницу, даёт только нагрузку. Сигналы об изменениях подсказывают, когда страница стоит повторного визита, а когда нет. Cloudflare оговаривается, что поиск новых страниц поначалу может увеличить обход, пока их оценивают и индексируют.

Третий слой пока в тестах: пометка потенциально вредных страниц. На легитимном сайте может оказаться одна взломанная страница, например поддельная форма входа, которую подбросил злоумышленник. Помечается только она, без штрафа для всего домена. По ранним результатам такие сигналы помогают находить страницы, которым в индексе не место.

Отчёт считает страницы в индексе OpenAI, но не визиты на сайты

Единственный крупный результат в отчёте измеряется в проиндексированных страницах. Cloudflare добавляет, что ChatGPT Search ссылается на источники и так даёт людям путь к оригиналу, но сколько людей по этим ссылкам прошло, не сказано. Рядом стоит упоминание GPT-6 и Intelligent UI, с которыми OpenAI делает ChatGPT удобнее для покупок, учёбы и поиска ответов; пилот, по словам Cloudflare, дополняет эту работу.

Следующий этап описан тремя пунктами: лучше отбирать страницы, проверить более быстрые и надёжные сигналы об изменениях и измерить, что происходит после того, как контент найден. Отдельно Cloudflare пишет, что продолжает работать с OpenAI над тем, как лучшее обнаружение сайтов превращается в реальные бизнес-результаты.

Сроков нет и сейчас. По данным Enterprisedna, ещё в июле компании не называли ни сроков результатов, ни того, как выводы попадут в продакшн, и описывали проект как исследование, а не запуск продукта.

Сильнейший довод против: сигнал о странице не даёт права на неё заходить

Если читать пилот как переход Cloudflare на сторону ИИ-компаний, придётся спорить с тем, как он устроен. Решения владельцев доменов, по словам Cloudflare, учитываются на всех этапах: сигнал о странице не даёт доступа к ней, а исследование использует метаданные о вебе для поиска, без передачи содержимого страниц для обучения моделей. Управлять доступом ИИ-систем к сайту можно через AI Crawl Control, и тот же инструмент упоминает в пересказе отчёта daily.dev. TNW отдельно подчёркивает, что пилот касается обнаружения страниц и стоит в стороне от лицензионных сделок OpenAI по контенту для ChatGPT.

Есть и прямая выгода для сайтов: отсев пустых адресов и сигналы об изменениях обещают меньше лишних запросов. С этой точки зрения Cloudflare не меняет сторону, а делает робот, которого владелец сайта и так пустил, аккуратнее.

Довод сильный, но он про ущерб, а наш вопрос про пользу. Отчёт показывает, что метаданные сети заметно расширяют индекс OpenAI, и ничего не говорит о том, что получили сайты из 1% участников, кроме обещания меньшей нагрузки, которую тоже пока не посчитали.

Наше прочтение окажется неверным, если на следующем этапе Cloudflare и OpenAI опубликуют цифры по участникам пилота: сколько переходов из ChatGPT они получили и насколько снизилась нагрузка от обхода по сравнению с сайтами вне пилота. Если такие данные выйдут и окажутся заметными, сайтам действительно стоит участвовать, а не просто терпеть ещё одного посредника.