2025年7月4日，互联网基础设施巨头Cloudflare宣布默认拦截所有未经许可的AI网络爬虫抓取网站内容，要求AI公司须获网站所有者同意才能访问数据。这一举措可能终结AI厂商免费获取数据的时代。从7月初起，新接入Cloudflare的站点默认拒绝AI爬虫访问，并推出按次付费爬取模式，允许出版商向AI公司收费。Cloudflare通过其Turnstile验证系统结合行为分析和机器学习技术识别并阻拦未经授权的AI爬虫，保护内容创作者权益。同时，Cloudflare还为自身开辟了新的商业模式，扮演内容提供方与AI公司间的中介角色，收取服务费用。此举或将改变网络内容利益分配格局，也为AI训练数据获取设置了门槛。