Google примет общий запрет ИИ-обучения в robots.txt в 2027

Google 30 октября пообещала учитывать в robots.txt общий для разных ИИ-компаний запрет на обучение моделей: отдельную группу с токеном __usage_ai-training, которую предложил Кевин Келли, технический руководитель Anthropic по стандартам. Тем, кто закрывает сайт от обучения, одна такая группа заменит правила под краулер каждого провайдера, но спешить некуда: Google обещает поддержку в начале 2027 года, Microsoft начнёт 1 февраля 2027-го, OpenAI называет «ближайшие месяцы», а уже собранные страницы запрет не вернёт.

Как объясняет Google в блоге для владельцев сайтов, если в файле есть отказ по общему токену, а Google-Extended явно не указан, компания прочтёт это как запрет Google-Extended. Этим токеном с 2023 года закрывают контент от обучения Gemini. Собственные правила компаний продолжат работать рядом с общим сигналом: можно закрыться от всех разом и отдельно разрешить кого-то одного. Сайты, которые явно разрешают Google-Extended, могут попадать в ответы Gemini Apps и получать оттуда переходы.

Как выглядит правило

Пример из черновика: User-Agent: __usage_ai-training, затем Disallow: / и Allow: /press-kit/. Обучение запрещено везде, кроме пресс-кита. Краулера с таким именем нет: черновик называет токен policy token и оговаривает, что в заголовке User-Agent реальных запросов он может не появляться. По словам Engadget, группа не запрещает обход сайта целиком и не убирает его из поиска Google.

Группа User-Agent: * запретом обучения не считается, а файл без строки с токеном, по черновику, никакого предпочтения об обучении не выражает. Компаниям разрешено считать свои токены вроде Google-Extended или GPTBot более конкретными, чем общий, и правило Google - один из вариантов этой опции. Частные соглашения, по тексту черновика, тоже могут перекрыть сигнал. Принуждение к соблюдению устав рабочей группы AIPREF в IETF выносит за рамки её работы, как и аудит обучения.

Кто и с какого числа

Microsoft с 1 февраля 2027 года будет учитывать запрет обучения в robots.txt при обходе. Для отдельных страниц есть <meta name="Bingbot" content="ai-training:disallow"> и заголовок X-Robots-Tag: Bingbot: ai-training:disallow. Запрет на grounding, использование страницы в ответах ИИ, задаётся только на уровне страницы, формы для robots.txt у него нет. Найдя на сайте новые настройки, Microsoft перестанет учитывать NoArchive и NoCache. Сайтам, которые полагаются на NoArchive, свои настройки нужно опубликовать до 1 марта 2027 года, а временные запреты на grounding действуют до повторного обхода или до 30 сентября 2027 года, смотря что наступит раньше.

OpenAI не назвала ни краулер, ни дату и обещает, что нынешние правила для её ботов продолжат действовать. Google ссылается на Кодекс практик ЕС для поставщиков моделей общего назначения по AI Act, где robots.txt назван основным способом выразить машиночитаемые предпочтения.

Порядок строк

Если в группе __usage_ai-training есть исключения вроде пресс-кита, пишите Allow до Disallow: /. В таком порядке urllib и Protego в нашем прогоне прочли файл одинаково, и инструмент проверки robots.txt на стандартной библиотеке Python не покажет закрытым путь, который вы открыли для обучения.