Перейти к содержанию

OpenAI

OpenAI будет учитывать общий ИИ-сигнал в robots.txt

3 мин чтения

Наш ИИ-аналитик сам проверил эту историю: запускал, считал, сверял с оригиналами. Что мы проверили

Текст написан ИИ-моделью по источникам, на которые ведут ссылки, и сверен с ними второй моделью. Как мы работаем

Всё о теме: OpenAI: модели и продукты →
Изображение: openai.com

OpenAI 30 октября пообещала соблюдать в robots.txt общий для нескольких ИИ-провайдеров сигнал против обучения генеративных моделей. Записывается он одной обычной группой User-Agent: __usage_ai-training с Disallow: /, а правило для User-Agent: * таким сигналом не считается. Спешить с правкой файла незачем: OpenAI включит поддержку только «в ближайшие месяцы», а нынешние правила для её краулеров продолжат действовать.

В посте OpenAI схема названа добровольной: она касается только участвующих провайдеров, и OpenAI призывает остальных присоединиться. Сейчас владельцы сайтов ведут правила под каждого по отдельности: у OpenAI обучением занят GPTBot, у Anthropic ClaudeBot, у Google - токен Google-Extended. Детали своей реализации OpenAI обещает в отдельном апдейте, когда запустит сигнал.

Как выглядит запись

Сигнал описан в черновике стандарта, на который ссылается пост OpenAI. Новых директив и нового синтаксиса там нет: __usage_ai-training стоит на месте имени бота, Disallow под ним означает возражение против обучения ИИ, Allow - согласие. Исключения задаются как обычно: в примере из черновика закрыт весь сайт, кроме /press-kit/. Если такой группы в файле нет, сайт никакого предпочтения не выразил.

Приоритеты черновик оставляет гибкими. Провайдер может объявить, что правила под его собственный токен важнее общего, а частные договорённости сайта с провайдером могут перекрыть то, что записано через этот механизм.

Сроки у всех разные

Вместе с OpenAI сигнал анонсировали Google, Microsoft и Anthropic. Anthropic уже начала его внедрять, Microsoft будет учитывать его с 1 февраля 2027 года, Google собирается поддержать в 2027-м, а на странице о своих краулерах уточняет: в начале 2027 года.

У Google общий сигнал затронет не только обучение. Если сайт отказался от обучения через __usage_ai-training и не указал Google-Extended отдельно, Google планирует считать это запретом для Google-Extended. А этот токен управляет и grounding в Gemini Apps: подачей страниц из поискового индекса модели в момент запроса. Сайт, который хочет закрыть только обучение, без явного Allow для Google-Extended из этих ответов выпадет: по словам Google, появляться в ответах Gemini Apps и получать оттуда переходы могут сайты, которые Google-Extended разрешили. Вывод сделан по документации, не по замеру, сам токен пока не работает.

Microsoft добавляет к общему сигналу собственный: AI Grounding, предпочтение на уровне отдельной страницы со значениями Allow, DisallowExtended и Disallow. Тем, кто сейчас ограничивает ИИ через NoArchive и NoCache, Microsoft даёт срок до 1 марта 2027 года: после этой даты метки не будут читаться как предпочтение для обучения или grounding.

Авторский разбор

Что мы проверили

31 октября мы прочитали черновик и его карточку на сайте IETF, посты Google и Microsoft и письмо автора черновика в рассылку, а ещё скачали robots.txt первой тысячи доменов рейтинга Tranco (список 746VX, один запрос на домен). Ответ 200 дали 562 домена, читаемый файл вернули 499, цифры ниже считаются от них.

Как мы проверяем истории

В анонсе сигнал выведен из работы группы AI Preferences в IETF, но сам механизм описан в индивидуальном черновике Кевина Келли из Anthropic: ревизия 00 от 30 октября, без формального статуса в процессе стандартизации. От группы взято только определение обучения ИИ, и её документ тоже пока не RFC; сам Келли называет свой текст вкладом в работу группы. Среди популярных сайтов новую запись пока не использует никто, зато две конкурирующие уже встречаются.

Что в robots.txtСайтов из 499
User-Agent: __usage_ai-training0
Content-Signal: от Cloudflare15
Content-Usage: ai=n из черновика группы1
GPTBot закрыт полностью60
ClaudeBot закрыт полностью60
Google-Extended закрыт полностью49

Хотя бы один из девяти токенов обучения ограничивают 149 сайтов, три и больше - 116, а 39 закрывают GPTBot, ClaudeBot и Google-Extended одновременно.

ClaudeAnthropic

Max 20x стал Ultra: проверенным снимут пятичасовой лимит

«Если вы подписчик, делать ничего не нужно», пишет Anthropic, переименовав Max 20x в Ultra за те же 200 долларов. Заодно проверенные аккаунты Ultra избавляются от пятичасового лимита, но недельный остаётся прежним. Вам приходилось бросать работу посреди дня из-за пятичасового лимита Claude?

Пока никто не написал. Будьте первым.

Присоединяйтесь к разговору

Войдите, чтобы оставить комментарий. Он появится после модерации.