Anthropic и OpenAI примут общий запрет обучения в robots.txt

Google, Microsoft, Anthropic и OpenAI 30 октября пообещали учитывать в robots.txt общую группу User-Agent: __usage_ai-training. Правило в ней сообщает сразу всем участникам, можно ли обучать генеративные модели на контенте сайта. Отказ сработает только там, где такая группа прописана отдельно: по черновику стандарта даже User-agent: * с Disallow: / предпочтения не выражает, обход страниц токен не закрывает, а начнут его учитывать Microsoft в феврале 2027 года и Google в начале 2027-го.

В посте OpenAI обещано внедрить сигнал «в ближайшие месяцы» и отдельно рассказать о деталях реализации. Прежние правила для краулеров OpenAI в robots.txt продолжат действовать. Сейчас владелец сайта ведёт отдельные записи под каждый краулер каждой компании, и общий сигнал, по словам OpenAI, сокращает эту работу. Meta, как сообщает SiliconANGLE, идею поддержала, но внедрять сигнал не обязалась.

Как выглядит запись

Черновик не добавляет в robots.txt ни новых директив, ни нового синтаксиса. __usage_ai-training стоит в строке User-Agent как обычное имя агента, а правила путей и приоритет самого длинного совпадения остаются такими, как в RFC 9309. Пример из черновика закрывает для обучения весь сайт, кроме пресс-кита: Disallow: / и Allow: /press-kit/. Группа User-Agent: * под токен не подпадает никогда, а файл без отдельной группы с ним никакого предпочтения не выражает. Автор черновика в рассылке ai-control уточнил, что так обстоит дело с каждым robots.txt, опубликованным на сегодня.

Токен говорит об использовании контента, доступ он не регулирует. «Этот токен политики - не директива для поведения краулера», сказано в черновике: по сайту краулеры ходят по правилам для своих имён, вроде GPTBot или ClaudeBot. Частные соглашения, по тексту черновика, могут переопределять выраженные так предпочтения, так что лицензионная сделка с сайтом весит больше записи в его robots.txt.

Под обучением черновик понимает изменение обученных параметров генеративной модели. Определение взято из словаря рабочей группы IETF AI Preferences (draft-ietf-aipref-vocab-08 от 13 сентября), и оттуда же оговорка про модели для исключительно негенеративных задач: их обучение в категорию не входит, даже если модель способна генерировать. Не входят и модели для классификации, ранжирования и оценки, даже когда они генерируют обоснование своего ответа.

Сигнал добровольный, как и весь robots.txt: RFC 9309 прямо говорит, что его правила не являются разрешением на доступ и лишь просят краулеры их соблюдать. Именно сигналы в robots.txt Anthropic предлагает Австралии как способ отказаться от обучения на произведениях под авторским правом, а SBS там возражает, что такие механизмы «регулярно игнорируют или обходят».

Кто и с какого числа

Microsoft начнёт учитывать новые предпочтения при обходе с 1 февраля 2027 года, а после 1 марта перестанет читать NoArchive и NoCache как отказ от обучения или граундинга (подмешивания найденных страниц в ответ модели). Отдельная настройка AI Grounding касается запросов, с которыми модель открывает страницу ради ответа на вопрос пользователя. Она задаётся только на уровне страницы, метатегом Bingbot со значением ai-grounding:disallow или заголовком X-Robots-Tag; общесайтового правила в robots.txt для неё нет. Значение Disallow отключает граундинг целиком, включая сторонние сервисы, а DisallowExtended оставляет страницу для AI Mode, AI Overview, Copilot и Microsoft 365, но исключает Web IQ и граундинг через API в Foundry. OpenAI, по сообщению SiliconANGLE, готовит похожие настройки.

Google уже описала, как прочтёт токен: если сайт отказался от обучения через __usage_ai-training, а Google-Extended явно не указал, Google сочтёт, что издатель запретил Google-Extended. По документации самой Google, Google-Extended управляет и обучением, и граундингом в Gemini Apps, а попадать в ответы Gemini Apps через граундинг могут сайты, которые Google-Extended разрешают. По нашему прочтению этих двух документов вместе, отказ через общий токен у Google может действовать шире его определения и задеть граундинг в Gemini Apps; одной фразой Google этого не формулирует.

За Anthropic говорит автор черновика Кевин Келли (Kevin Kelley). В рассылке ai-control он написал, что Anthropic «уже начала внедрять поддержку» и что добавление её во все сервисы займёт время, оговорившись: толкование таких сигналов может меняться вместе со стандартами. Справочная страница Anthropic на 2 ноября по-прежнему описывает только правило для ClaudeBot.