2025年7月，互联网基础设施巨头Cloudflare推出实验性产品「Pay Per Crawl」，要求AI爬虫「要么获得许可，要么付费」，以改变AI公司免费抓取全网内容的模式。该功能赋予网站内容创作者选择权：允许、封锁或收费访问。Cloudflare称，AI时代传统「内容换流量」模式失效，AI巨头如OpenAI和Anthropic的爬虫为网站带来的点击率远低于谷歌。通过「Pay Per Crawl」，网站可设定访问权限，AI爬虫需注册并支付费用。此举旨在建立全新AI时代内容分发和变现模式，让内容创作者获得合理报酬。目前仅部分大型出版商参与内测，包括BuzzFeed、《大西洋月刊》和《财富》等。