8月5日，Cloudflare指控AI初创公司Perplexity无视网站robots.txt文件及拦截规则，通过更改身份标识和网络地址绕过限制，抓取禁止AI访问的内容。Cloudflare称其行为涉及数万个域名，每天数百万次请求，并已将Perplexity爬虫移出认证名单，同时加强技术拦截。Perplexity发言人Jesse Dwyer否认指控，称Cloudflare的博文是‘销售噱头’且截图显示无内容被访问。Cloudflare表示调查源于客户投诉，测试确认Perplexity绕过限制属实。这是Perplexity再次面临类似指控，此前《Wired》等媒体也曾指责其抄袭内容。

7月30日，Reddit用户分享称，ChatGPT智能体成功绕过Cloudflare的“我不是机器人”人机验证系统。在操作中，该智能体识别并自动点击验证框，完成验证过程无阻碍，并冷静叙述进展。Cloudflare通常通过分析鼠标移动、点击行为等区分人类与机器，但此次事件表明现有机制可能已无法阻挡AI技术。此前，AI模型已能自动填写图片验证码甚至绕过谷歌复杂验证。这一突破凸显AI能力对传统安全措施的新挑战。

7月29日，OpenAI推出的ChatGPT Agent被曝可绕过Cloudflare的“我不是机器人”CAPTCHA验证系统。事件由Reddit用户logkn在r/OpenAI论坛曝光，展示了一张截图，显示ChatGPT Agent在视频转换网站上完成验证并执行任务的过程。该AI代理不仅能点击验证复选框，还能实时叙述操作步骤，成功规避传统反机器人工具。这一进展引发担忧，既突显了AI模仿人类行为的能力，也对现有CAPTCHA系统的有效性提出挑战。据悉，ChatGPT Agent运行于沙盒环境，拥有虚拟操作系统和浏览器，访问互联网时需用户授权才能执行具有现实后果的操作。

2025年7月4日，互联网基础设施巨头Cloudflare宣布默认拦截所有未经许可的AI网络爬虫抓取网站内容，要求AI公司须获网站所有者同意才能访问数据。这一举措可能终结AI厂商免费获取数据的时代。从7月初起，新接入Cloudflare的站点默认拒绝AI爬虫访问，并推出按次付费爬取模式，允许出版商向AI公司收费。Cloudflare通过其Turnstile验证系统结合行为分析和机器学习技术识别并阻拦未经授权的AI爬虫，保护内容创作者权益。同时，Cloudflare还为自身开辟了新的商业模式，扮演内容提供方与AI公司间的中介角色，收取服务费用。此举或将改变网络内容利益分配格局，也为AI训练数据获取设置了门槛。

2025年7月，互联网基础设施公司Cloudflare推出实验性产品「Pay Per Crawl」，要求AI爬虫要么获得许可，要么付费才能抓取网站内容，标志着AI巨头「免费午餐」时代的终结。该功能允许网站创作者选择是否允许AI爬虫访问、收费或封锁，旨在让内容创作者从AI训练中获益。数据显示，AI爬虫抓取效率远低于传统搜索引擎，导致网站流量大幅下降。Cloudflare此举意在建立新的内容分发和变现模式，推动AI行业更公平地使用网络内容。虽然面临技术落地与成本挑战，但这一举措可能重塑AI时代的内容经济格局。

2025年7月，互联网基础设施巨头Cloudflare推出实验性产品「Pay Per Crawl」，要求AI爬虫要么获得许可，要么为访问网站内容付费。此举旨在解决AI公司无偿抓取全网内容训练模型导致的流量失衡问题，赋予内容创作者对AI爬虫的控制权，包括允许、封锁或按次收费。过去AI公司如OpenAI、Anthropic等抓取网站内容却几乎无法为原网站带来流量，相较传统搜索引擎严重失衡。Cloudflare CEO称该模式为「内容的独立日」，或将开启内容授权变现的新时代。目前仅有部分大型出版商参与测试，未来可能推动更细粒度定价及智能代理程序化访问。这一举措标志着AI与内容创作者重新谈判分账的开端，也可能影响互联网开放与共享的本质走向。

2025年7月1日，云服务商Cloudflare宣布将默认阻止AI爬虫在未经网站所有者许可或未支付费用的情况下抓取内容。自宣布日起，新注册Cloudflare的域名将被询问是否允许AI爬虫访问，赋予网站阻止爬虫获取数据的能力。Cloudflare CEO表示此举旨在将权力交还创作者，同时不妨碍AI公司创新。然而有律师指出，该措施可能影响AI聊天机器人获取训练和搜索数据，短期内或将对AI模型训练造成冲击。

7月1日，互联网安全公司Cloudflare宣布推出新措施，帮助网站抵御AI爬虫的无限制抓取，并探索‘按爬取付费’模式。新政策要求新签约用户选择是否允许AI爬虫访问其网站，部分大型出版商已选择屏蔽AI爬虫。Cloudflare首席执行官马修·普林斯表示，此举旨在保护内容创作者利益，确保其获得广告收入。此外，Cloudflare启动了‘按爬取付费’测试项目，允许网站向AI爬虫收取访问费用，未来将支持动态定价和多种收费方式，以维护互联网内容生态的可持续发展。

近日，全球最大的网络基础设施公司之一Cloudflare宣布开始用AI对抗AI爬虫，标志着AI领域的一场全面战争拉开序幕。此前，乌克兰小公司Triplegangers因未严格限制爬虫访问，其网站被OpenAI的GPTBot爬取大量数据，导致服务器崩溃。类似事件还发生在iFixit，其内容被Anthropic公司的ClaudeBot大量抓取，尽管已明文禁止用于AI训练。更严重的是，Perplexity爬虫公然无视robots.txt协议，直接抓取未授权内容。面对这一挑战，Cloudflare推出了AI迷宫策略，通过生成虚假内容误导爬虫，保护网站免受侵害。这一系列事件揭示了AI爬虫与内容创作者之间的深刻矛盾，呼吁建立更完善的规则保护原创内容。

3月19日，网络服务商Cloudflare推出名为AI Labyrinth的功能，利用AI生成内容干扰不守规矩的AI爬虫及恶意爬取机器人。该功能通过在页面中设置隐藏链接，链接指向由AI生成的虚假页面，使爬虫浪费时间和资源。此举避免了直接封禁爬虫引发的长期对抗，还能帮助Cloudflare分析爬虫行为特征，优化机器人识别技术。AI Labyrinth面向所有用户，包括免费客户。