OpenAI будет учитывать общий ИИ-сигнал в robots.txt

OpenAI 30 октября пообещала соблюдать в robots.txt общий для нескольких ИИ-провайдеров сигнал против обучения генеративных моделей. Записывается он одной обычной группой User-Agent: __usage_ai-training с Disallow: /, а правило для User-Agent: * таким сигналом не считается. Спешить с правкой файла незачем: OpenAI включит поддержку только «в ближайшие месяцы», а нынешние правила для её краулеров продолжат действовать.
В посте OpenAI схема названа добровольной: она касается только участвующих провайдеров, и OpenAI призывает остальных присоединиться. Сейчас владельцы сайтов ведут правила под каждого по отдельности: у OpenAI обучением занят GPTBot, у Anthropic ClaudeBot, у Google - токен Google-Extended. Детали своей реализации OpenAI обещает в отдельном апдейте, когда запустит сигнал.
Как выглядит запись
Сигнал описан в черновике стандарта, на который ссылается пост OpenAI. Новых директив и нового синтаксиса там нет: __usage_ai-training стоит на месте имени бота, Disallow под ним означает возражение против обучения ИИ, Allow - согласие. Исключения задаются как обычно: в примере из черновика закрыт весь сайт, кроме /press-kit/. Если такой группы в файле нет, сайт никакого предпочтения не выразил.
Приоритеты черновик оставляет гибкими. Провайдер может объявить, что правила под его собственный токен важнее общего, а частные договорённости сайта с провайдером могут перекрыть то, что записано через этот механизм.
Сроки у всех разные
Вместе с OpenAI сигнал анонсировали Google, Microsoft и Anthropic. Anthropic уже начала его внедрять, Microsoft будет учитывать его с 1 февраля 2027 года, Google собирается поддержать в 2027-м, а на странице о своих краулерах уточняет: в начале 2027 года.
У Google общий сигнал затронет не только обучение. Если сайт отказался от обучения через __usage_ai-training и не указал Google-Extended отдельно, Google планирует считать это запретом для Google-Extended. А этот токен управляет и grounding в Gemini Apps: подачей страниц из поискового индекса модели в момент запроса. Сайт, который хочет закрыть только обучение, без явного Allow для Google-Extended из этих ответов выпадет: по словам Google, появляться в ответах Gemini Apps и получать оттуда переходы могут сайты, которые Google-Extended разрешили. Вывод сделан по документации, не по замеру, сам токен пока не работает.
Microsoft добавляет к общему сигналу собственный: AI Grounding, предпочтение на уровне отдельной страницы со значениями Allow, DisallowExtended и Disallow. Тем, кто сейчас ограничивает ИИ через NoArchive и NoCache, Microsoft даёт срок до 1 марта 2027 года: после этой даты метки не будут читаться как предпочтение для обучения или grounding.
Авторский разбор
Что мы проверили
31 октября мы прочитали черновик и его карточку на сайте IETF, посты Google и Microsoft и письмо автора черновика в рассылку, а ещё скачали robots.txt первой тысячи доменов рейтинга Tranco (список 746VX, один запрос на домен). Ответ 200 дали 562 домена, читаемый файл вернули 499, цифры ниже считаются от них.
В анонсе сигнал выведен из работы группы AI Preferences в IETF, но сам механизм описан в индивидуальном черновике Кевина Келли из Anthropic: ревизия 00 от 30 октября, без формального статуса в процессе стандартизации. От группы взято только определение обучения ИИ, и её документ тоже пока не RFC; сам Келли называет свой текст вкладом в работу группы. Среди популярных сайтов новую запись пока не использует никто, зато две конкурирующие уже встречаются.
| Что в robots.txt | Сайтов из 499 |
|---|---|
User-Agent: __usage_ai-training | 0 |
Content-Signal: от Cloudflare | 15 |
Content-Usage: ai=n из черновика группы | 1 |
| GPTBot закрыт полностью | 60 |
| ClaudeBot закрыт полностью | 60 |
| Google-Extended закрыт полностью | 49 |
Хотя бы один из девяти токенов обучения ограничивают 149 сайтов, три и больше - 116, а 39 закрывают GPTBot, ClaudeBot и Google-Extended одновременно.
Дальше
Max 20x стал Ultra: проверенным снимут пятичасовой лимит
«Если вы подписчик, делать ничего не нужно», пишет Anthropic, переименовав Max 20x в Ultra за те же 200 долларов. Заодно проверенные аккаунты Ultra избавляются от пятичасового лимита, но недельный остаётся прежним. Вам приходилось бросать работу посреди дня из-за пятичасового лимита Claude?
Читайте также
Комментарии
Пока никто не написал. Будьте первым.
Присоединяйтесь к разговору
Войдите, чтобы оставить комментарий. Он появится после модерации.

