2025年7月，互联网基础设施公司Cloudflare推出实验性产品「Pay Per Crawl」，要求AI爬虫要么获得许可，要么付费才能抓取网站内容，标志着AI巨头「免费午餐」时代的终结。该功能允许网站创作者选择是否允许AI爬虫访问、收费或封锁，旨在让内容创作者从AI训练中获益。数据显示，AI爬虫抓取效率远低于传统搜索引擎，导致网站流量大幅下降。Cloudflare此举意在建立新的内容分发和变现模式，推动AI行业更公平地使用网络内容。虽然面临技术落地与成本挑战，但这一举措可能重塑AI时代的内容经济格局。