2025年7月4日，互联网基础设施巨头Cloudflare宣布默认拦截所有未经许可的AI网络爬虫抓取网站内容，要求AI公司须获网站所有者同意才能访问数据。这一举措可能终结AI厂商免费获取数据的时代。从7月初起，新接入Cloudflare的站点默认拒绝AI爬虫访问，并推出按次付费爬取模式，允许出版商向AI公司收费。Cloudflare通过其Turnstile验证系统结合行为分析和机器学习技术识别并阻拦未经授权的AI爬虫，保护内容创作者权益。同时，Cloudflare还为自身开辟了新的商业模式，扮演内容提供方与AI公司间的中介角色，收取服务费用。此举或将改变网络内容利益分配格局，也为AI训练数据获取设置了门槛。

2025年7月，互联网基础设施公司Cloudflare推出实验性产品「Pay Per Crawl」，要求AI爬虫要么获得许可，要么付费才能抓取网站内容，标志着AI巨头「免费午餐」时代的终结。该功能允许网站创作者选择是否允许AI爬虫访问、收费或封锁，旨在让内容创作者从AI训练中获益。数据显示，AI爬虫抓取效率远低于传统搜索引擎，导致网站流量大幅下降。Cloudflare此举意在建立新的内容分发和变现模式，推动AI行业更公平地使用网络内容。虽然面临技术落地与成本挑战，但这一举措可能重塑AI时代的内容经济格局。

2025年7月，互联网基础设施巨头Cloudflare推出实验性产品「Pay Per Crawl」，要求AI爬虫「要么获得许可，要么付费」，以改变AI公司免费抓取全网内容的模式。该功能赋予网站内容创作者选择权：允许、封锁或收费访问。Cloudflare称，AI时代传统「内容换流量」模式失效，AI巨头如OpenAI和Anthropic的爬虫为网站带来的点击率远低于谷歌。通过「Pay Per Crawl」，网站可设定访问权限，AI爬虫需注册并支付费用。此举旨在建立全新AI时代内容分发和变现模式，让内容创作者获得合理报酬。目前仅部分大型出版商参与内测，包括BuzzFeed、《大西洋月刊》和《财富》等。

2025年7月，互联网基础设施巨头Cloudflare推出实验性产品「Pay Per Crawl」，要求AI爬虫要么获得许可，要么为访问网站内容付费。此举旨在解决AI公司无偿抓取全网内容训练模型导致的流量失衡问题，赋予内容创作者对AI爬虫的控制权，包括允许、封锁或按次收费。过去AI公司如OpenAI、Anthropic等抓取网站内容却几乎无法为原网站带来流量，相较传统搜索引擎严重失衡。Cloudflare CEO称该模式为「内容的独立日」，或将开启内容授权变现的新时代。目前仅有部分大型出版商参与测试，未来可能推动更细粒度定价及智能代理程序化访问。这一举措标志着AI与内容创作者重新谈判分账的开端，也可能影响互联网开放与共享的本质走向。

2025年7月1日，云服务商Cloudflare宣布将默认阻止AI爬虫在未经网站所有者许可或未支付费用的情况下抓取内容。自宣布日起，新注册Cloudflare的域名将被询问是否允许AI爬虫访问，赋予网站阻止爬虫获取数据的能力。Cloudflare CEO表示此举旨在将权力交还创作者，同时不妨碍AI公司创新。然而有律师指出，该措施可能影响AI聊天机器人获取训练和搜索数据，短期内或将对AI模型训练造成冲击。

7月1日，互联网安全公司Cloudflare宣布推出新措施，帮助网站抵御AI爬虫的无限制抓取，并探索‘按爬取付费’模式。新政策要求新签约用户选择是否允许AI爬虫访问其网站，部分大型出版商已选择屏蔽AI爬虫。Cloudflare首席执行官马修·普林斯表示，此举旨在保护内容创作者利益，确保其获得广告收入。此外，Cloudflare启动了‘按爬取付费’测试项目，允许网站向AI爬虫收取访问费用，未来将支持动态定价和多种收费方式，以维护互联网内容生态的可持续发展。

近日，维基媒体因AI爬虫大量访问其服务器，导致运营成本激增，选择妥协，将英语和法语维基百科内容托管至Kaggle平台供AI公司自取。此举旨在降低AI爬虫对维基服务器的压力，同时优化数据格式以适应AI模型需求。维基百科的开放许可协议使其难以通过法律手段阻止AI公司使用其数据，且维护成本每年高达300万美元。此策略虽无奈，却符合其促进知识自由获取的使命。类似情况也发生在其他内容平台，AI攻防战已延伸至数据源头。

近日，全球最大的网络基础设施公司之一Cloudflare宣布开始用AI对抗AI爬虫，标志着AI领域的一场全面战争拉开序幕。此前，乌克兰小公司Triplegangers因未严格限制爬虫访问，其网站被OpenAI的GPTBot爬取大量数据，导致服务器崩溃。类似事件还发生在iFixit，其内容被Anthropic公司的ClaudeBot大量抓取，尽管已明文禁止用于AI训练。更严重的是，Perplexity爬虫公然无视robots.txt协议，直接抓取未授权内容。面对这一挑战，Cloudflare推出了AI迷宫策略，通过生成虚假内容误导爬虫，保护网站免受侵害。这一系列事件揭示了AI爬虫与内容创作者之间的深刻矛盾，呼吁建立更完善的规则保护原创内容。

OpenAI的GPTBot爬虫导致一家7人团队公司（Triplegangers）网站宕机，使用超600个IP地址抓取数据，引发大量资源消耗和高额费用。Triplegangers拥有最大“人类数字孪生”数据库，包含3D图像及详细标签，吸引OpenAI疯狂抓取。尽管Triplegangers已配置Robot.txt文件并启用Cloudflare，但CEO仍担心数据被盗取。此事件并非孤例，此前已有类似情况发生。AI公司因缺乏高质量数据，加速数据收集，甚至向UP主高价购买未公开视频。截至1月8日，Triplegangers已采取措施防止进一步爬虫。

OpenAI的GPTBot爬虫导致一家7人团队公司(Triplegangers)网站宕机，CEO称其堪比DDoS攻击。GPTBot试图下载该公司超过65000种产品的数据，包括数十万张照片及描述。分析显示，OpenAI使用了600多个IP地址进行数据抓取。此举不仅造成网站宕机，还大幅增加了AWS资源消耗。Triplegangers已按要求配置了正确的robots.txt文件，并设置Cloudflare账户防止其他AI爬虫。此事件并非孤例，已有类似情况发生于Game UI Database。AI公司疯狂爬虫的背后原因是缺乏高质量训练数据。