Cloudflare подсказал ChatGPT сотни миллионов новых страниц

Cloudflare 15 октября подвела в своём блоге первые итоги совместного пилота с OpenAI. Сигналы из сети Cloudflare помогли поисковому роботу OpenAI найти и добавить в индекс сотни миллионов страниц, о которых тот раньше не знал. При этом в пилоте участвовала когорта сайтов примерно в 1% сети Cloudflare.
Сам пилот Cloudflare анонсировала 8 июля. Тогда компания объясняла выбор партнёров так: за её глобальной сетью стоит больше 20% веба, и оттуда видно, как в реальном времени меняется контент и ведёт себя трафик. С OpenAI в проект пришли передовые модели, большая система поиска и ответов и реальные запросы пользователей для проверки. В качестве примеров сигналов в июле называли свежесть контента, качество трафика и фактические изменения страниц. Вице-президент OpenAI по исследованиям Ник Райдер тогда говорил, что пилот даст OpenAI проверить, помогают ли данные уровня сети находить контент эффективнее.
Цель пилота - длинный хвост веба. Cloudflare приводит примеры: инструкция к конкретной модели стиральной машины, актуальные требования и пошлины для оформления паспорта, свежее меню и часы работы местного ресторана. Такие страницы полезны, даже если на них почти никто не ссылается, а обычный краулер находит новое в первую очередь по ссылкам с уже известных страниц.
Разделение ролей такое. Сеть Cloudflare отдаёт метаданные: характер трафика, параметры запросов, поведение доменов. По ним поисковый робот OpenAI узнаёт о страницах, которые стоит посетить. Дальше OpenAI сама и независимо оценивает, насколько страница релевантна и полезна, и решает, как она покажется в ответах. ChatGPT Search ссылается на источники, так что пользователь может перейти к оригиналу. Cloudflare описывает это как петлю обратной связи, которая улучшает и обнаружение страниц, и качество найденного.
Найти URL - только начало, пишут в Cloudflare: дальше нужно понять, откроется ли страница, есть ли на ней что-то своё и чем она может помочь. По ходу пилота выяснилось, насколько легко автоматический трафик делает несуществующую страницу «интересной». Боты раз за разом запрашивают файлы, которых нет. Некоторые сайты перенаправляют почти любой адрес на главную. Другие адреса ведут на копии одного и того же контента. Если распознать такие шаблоны заранее, робот не тратит запрос на страницу до того, как её скачать.
Вторая часть механизма - сигналы об изменениях. Чаще обходить все страницы подряд дорого для всех, а владельцу сайта робот, который снова и снова скачивает неизменившуюся страницу, добавляет только нагрузку. Сигналы подсказывают краулеру, когда страницу стоит посетить повторно, а когда нет. Для клиентов Cloudflare это должно означать меньше лишней нагрузки, для OpenAI - больше поисковых ресурсов на полезную информацию.
Есть оговорка: новые страницы поначалу могут увеличить обход, пока их оценивают и индексируют. Само по себе обнаружение страниц не значит, что нагрузка от краулера уже снизилась.
Отдельно тестируются сигналы, которые помечают потенциально вредоносные страницы. На легитимном сайте может оказаться одна скомпрометированная страница, например поддельная форма входа, которую подбросил атакующий. Помечается только она, весь домен не страдает. По ранним результатам, такие сигналы могут помочь выявлять страницы, которым не место в индексе.
Cloudflare ставит пилот рядом с другими шагами OpenAI: с GPT-6 и Intelligent UI ChatGPT становится местом для покупок, обучения и поиска ответов с более визуальными и интерактивными сценариями, а пилот должен снабжать его более свежей информацией из веба.
Сколько переходов на сайты дало обнаружение новых страниц, пока не измерено. На следующем этапе Cloudflare собирается улучшить отбор страниц, испытать более быстрые и надёжные сигналы об изменениях и проследить, что происходит с контентом после того, как его нашли, вплоть до реальных бизнес-результатов для владельцев сайтов.
Содержимое страниц для обучения моделей в рамках исследования не передаётся: используются метаданные о вебе для поиска и обнаружения. Управлять доступом ИИ-систем к своему сайту Cloudflare предлагает через AI Crawl Control. И главное условие компания формулирует одной фразой: «Сигнал о странице не даёт разрешения на доступ к ней».
Дальше
OpenAI отвечает на иск Apple историей про личный iCloud
«Обычные собеседования» Apple выдаёт за кражу коммерческих тайн, настаивает OpenAI. В среду судья в Сан-Хосе решит, запретить ли OpenAI пользоваться якобы украденными данными или закрыть иск целиком. На собеседовании вы рассказываете о проектах прошлого работодателя или молчите?
Читайте также
- Cloudflare ищет уязвимости клиентов моделями OpenAI
- Порт TypeScript на Rust от Cloudflare: до 8 раз быстрее 7.0
- Учёные считают, что ChatGPT ускоряет их работу в 1,9 раза
- OpenAI раздаст учёным бесплатный ChatGPT Plus
- OpenAI пустила четыре лаборатории внутрь своих моделей
- Astra помогла физику с вопросом, открытым полвека
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

