Настройка в robots.txt

OpenAI, Google, Microsoft и Anthropic заявили, что поддержат общий сигнал, с помощью которого издатели смогут сообщать о предпочтениях по скрейпингу сайтов для обучения ИИ. Сейчас такие настройки приходится задавать отдельно для каждой компании. Предложенный техническим специалистом Anthropic Кевином Келли сигнал описывается в проекте стандарта IETF и будет размещаться в файле robots.txt сайта.

Компании говорят, что ограничат доступ своих ИИ-краулеров к сайту, если обнаружат общий токен. Anthropic уже поддержала сигнал; Google и Microsoft планируют внедрить его в следующем году, а OpenAI — в ближайшие месяцы.

Microsoft добавит отдельные настройки

Microsoft также обещает более точные настройки: издатели смогут отдельно отказаться от использования материалов для обучения ИИ или grounding — предоставления модели проверенного источника информации. При этом сайты, согласно объявлению компании, продолжат появляться в результатах поиска Bing независимо от выбранных предпочтений.