OpenAI, Google, Microsoft и Anthropic 30 октября объявили о поддержке общего способа сообщать, что содержимое сайта нельзя использовать для обучения генеративного ИИ. Владельцу сайта предлагается задать такое предпочтение один раз в robots.txt — служебном файле с правилами для автоматических посетителей, — вместо отдельных инструкций каждому разработчику. Это пока проект и обязательства по внедрению, а не уже действующий у всех участников запрет.

Проект Кевина Келли из Anthropic использует строку `User-Agent: __usage_ai-training` и обычные правила Allow и Disallow. Можно отказаться от обучения на всём сайте, разрешив его для отдельного раздела. Сигнал касается изменения параметров генеративной модели; обучение исключительно для классификации или ранжирования в эту категорию не входит. Сам проект ещё не принят как стандарт IETF.

Сроки у участников разные. OpenAI намерена внедрить поддержку в ближайшие месяцы, Google — в 2027 году. Келли сообщил, что Anthropic уже начала внедрение, но ей потребуется время на разные сервисы. Microsoft назвала 1 февраля 2027 года: новые настройки будут учитываться по мере обхода страниц её роботами.

Общий сигнал не отменяет различий между сервисами. Google собирается трактовать отказ как запрет Google-Extended, если для него нет отдельного явного правила. Microsoft дополнительно разделяет обучение и использование страницы при подготовке ответа ИИ: владельцу можно будет запретить первое, сохранив второе и возможность появления в обычном поиске Bing. Старые NoArchive и NoCache перестанут задавать эти предпочтения у Microsoft после 1 марта 2027 года; для сохранения ограничений компания просит перейти на новые настройки.

Главное изменение — совместимый способ выразить выбор нескольким поставщикам, но его исполнение остаётся на их стороне. По проекту правила использования содержимого отделены от правил его скачивания, отдельные указания поставщику могут иметь приоритет, а частные соглашения — переопределять общий сигнал. Поэтому запись в robots.txt сама по себе не закрывает страницу от загрузки и не доказывает, что все разработчики перестали использовать её для обучения.