2025年7月，互联网基础设施公司Cloudflare推出实验性产品「Pay Per Crawl」，要求AI爬虫要么获得许可，要么付费才能抓取网站内容，标志着AI巨头「免费午餐」时代的终结。该功能允许网站创作者选择是否允许AI爬虫访问、收费或封锁，旨在让内容创作者从AI训练中获益。数据显示，AI爬虫抓取效率远低于传统搜索引擎，导致网站流量大幅下降。Cloudflare此举意在建立新的内容分发和变现模式，推动AI行业更公平地使用网络内容。虽然面临技术落地与成本挑战，但这一举措可能重塑AI时代的内容经济格局。

2025年7月，互联网基础设施巨头Cloudflare推出实验性产品「Pay Per Crawl」，要求AI爬虫「要么获得许可，要么付费」，以改变AI公司免费抓取全网内容的模式。该功能赋予网站内容创作者选择权：允许、封锁或收费访问。Cloudflare称，AI时代传统「内容换流量」模式失效，AI巨头如OpenAI和Anthropic的爬虫为网站带来的点击率远低于谷歌。通过「Pay Per Crawl」，网站可设定访问权限，AI爬虫需注册并支付费用。此举旨在建立全新AI时代内容分发和变现模式，让内容创作者获得合理报酬。目前仅部分大型出版商参与内测，包括BuzzFeed、《大西洋月刊》和《财富》等。

2025年7月，互联网基础设施巨头Cloudflare推出实验性产品「Pay Per Crawl」，要求AI爬虫要么获得许可，要么为访问网站内容付费。此举旨在解决AI公司无偿抓取全网内容训练模型导致的流量失衡问题，赋予内容创作者对AI爬虫的控制权，包括允许、封锁或按次收费。过去AI公司如OpenAI、Anthropic等抓取网站内容却几乎无法为原网站带来流量，相较传统搜索引擎严重失衡。Cloudflare CEO称该模式为「内容的独立日」，或将开启内容授权变现的新时代。目前仅有部分大型出版商参与测试，未来可能推动更细粒度定价及智能代理程序化访问。这一举措标志着AI与内容创作者重新谈判分账的开端，也可能影响互联网开放与共享的本质走向。