OpenAI будет учитывать общий ИИ-сигнал в robots.txt

OpenAI 30 октября объявила, что будет учитывать в robots.txt общий сигнал, которым сайт сообщает сразу всем участвующим ИИ-провайдерам, можно ли обучать на его страницах базовые генеративные модели. Нынешние правила для краулеров OpenAI при этом продолжат соблюдаться, так что трогать robots.txt под новый сигнал пока рано: внедрять его компания будет «в ближайшие месяцы», а подробности реализации обещает в отдельном апдейте, говорится в посте OpenAI.

Сейчас владельцы сайтов ищут краулеры каждого провайдера и ведут под них отдельные правила, причём у крупных игроков ботов несколько и роли у них разные. У OpenAI на обучение работает GPTBot, а OAI-SearchBot отвечает за показ сайтов в поиске ChatGPT, и запрет одного никак не касается другого. У Anthropic та же схема: ClaudeBot собирает данные для обучения, и его блокировка не закрывает доступ Claude-SearchBot. Google обходится без отдельного краулера: токен Google-Extended в robots.txt решает, пойдёт ли контент на обучение Gemini Apps и Grounding with Google Search в Vertex AI, но на Google Search, AI Overviews и AI Mode не влияет.

Общий сигнал OpenAI описывает именно как предпочтение насчёт обучения, поэтому правила для поисковых ботов он, судя по всему, не заменит. А ChatGPT-User, который приходит на страницу, когда пользователь сам просит ChatGPT её открыть, может и вовсе не следовать robots.txt.

Сигнал вырос из работы группы AI Preferences в IETF, организации, которая разрабатывает интернет-стандарты. Анонсируют его вместе с OpenAI и другие участники группы, но схема добровольная и действует только у провайдеров, которые к ней присоединились. В OpenAI обещают и дальше участвовать в обсуждении в IETF и менять свои практики по мере того, как оно будет развиваться.

«Мы призываем других ИИ-провайдеров соблюдать этот сигнал», - пишут в компании.