2025年7月，互联网基础设施巨头Cloudflare推出实验性产品「Pay Per Crawl」，要求AI爬虫要么获得许可，要么为访问网站内容付费。此举旨在解决AI公司无偿抓取全网内容训练模型导致的流量失衡问题，赋予内容创作者对AI爬虫的控制权，包括允许、封锁或按次收费。过去AI公司如OpenAI、Anthropic等抓取网站内容却几乎无法为原网站带来流量，相较传统搜索引擎严重失衡。Cloudflare CEO称该模式为「内容的独立日」，或将开启内容授权变现的新时代。目前仅有部分大型出版商参与测试，未来可能推动更细粒度定价及智能代理程序化访问。这一举措标志着AI与内容创作者重新谈判分账的开端，也可能影响互联网开放与共享的本质走向。