Cloudflare обяжет ИИ-компании платить за контент издателей с 2026 года
Компания Cloudflare объявила о новом правиле для индустрии искусственного интеллекта. Начиная с 15 сентября 2026 года, её настройки по умолчанию будут блокировать веб-краулеры, которые одновременно используются и для традиционного поиска (например, Google Search), и для обучения ИИ-моделей. Речь идёт о страницах, содержащих рекламу.
Таким образом Cloudflare фактически устанавливает дедлайн для разделения краулеров. Если ИИ-компании хотят продолжать собирать данные с сайтов, использующих Cloudflare, им придётся либо разделить своих краулеров на поисковые и обучающие, либо заключить договор с издателями на использование контента.
Это решение стало ответом на давнюю проблему: издатели жалуются, что их материалы бесплатно используются для тренировки больших языковых моделей, что снижает ценность оригинального контента и трафик. Cloudflare, будучи крупнейшим провайдером CDN и защиты от DDoS, может существенно повлиять на рынок.
По данным компании, сейчас многие краулеры работают в смешанном режиме: они индексируют страницы для поиска и одновременно собирают данные для ИИ. Новые настройки заставят владельцев краулеров выбирать одно из двух направлений, что сделает процесс прозрачнее.
Издатели смогут сами решать, разрешать ли доступ для обучения ИИ. Если они захотят, чтобы их контент использовался только для поиска, они ничего не потеряют. Если же ИИ-компании захотят получить доступ к данным для обучения, им придётся договариваться напрямую или платить.
Cloudflare не раскрывает, сколько сайтов затронет это изменение, но с учётом её доли на рынке, последствия будут масштабными. Ожидается, что к 2026 году ИИ-компании будут вынуждены адаптироваться — либо через технологические изменения, либо через коммерческие соглашения.
Эксперты отмечают, что это может стать прецедентом для других CDN-провайдеров и усилит тенденцию к монетизации данных для ИИ. Пока реакция крупных игроков вроде Google, OpenAI и Anthropic не объявлена, но переговоры с издателями уже идут.
