2025年7月4日，互联网基础设施巨头Cloudflare宣布默认拦截所有未经许可的AI网络爬虫抓取网站内容，要求AI公司须获网站所有者同意才能访问数据。这一举措可能终结AI厂商免费获取数据的时代。从7月初起，新接入Cloudflare的站点默认拒绝AI爬虫访问，并推出按次付费爬取模式，允许出版商向AI公司收费。Cloudflare通过其Turnstile验证系统结合行为分析和机器学习技术识别并阻拦未经授权的AI爬虫，保护内容创作者权益。同时，Cloudflare还为自身开辟了新的商业模式，扮演内容提供方与AI公司间的中介角色，收取服务费用。此举或将改变网络内容利益分配格局，也为AI训练数据获取设置了门槛。

2025年7月，互联网基础设施公司Cloudflare推出实验性产品「Pay Per Crawl」，要求AI爬虫要么获得许可，要么付费才能抓取网站内容，标志着AI巨头「免费午餐」时代的终结。该功能允许网站创作者选择是否允许AI爬虫访问、收费或封锁，旨在让内容创作者从AI训练中获益。数据显示，AI爬虫抓取效率远低于传统搜索引擎，导致网站流量大幅下降。Cloudflare此举意在建立新的内容分发和变现模式，推动AI行业更公平地使用网络内容。虽然面临技术落地与成本挑战，但这一举措可能重塑AI时代的内容经济格局。

2025年7月，互联网基础设施巨头Cloudflare推出实验性产品「Pay Per Crawl」，要求AI爬虫要么获得许可，要么为访问网站内容付费。此举旨在解决AI公司无偿抓取全网内容训练模型导致的流量失衡问题，赋予内容创作者对AI爬虫的控制权，包括允许、封锁或按次收费。过去AI公司如OpenAI、Anthropic等抓取网站内容却几乎无法为原网站带来流量，相较传统搜索引擎严重失衡。Cloudflare CEO称该模式为「内容的独立日」，或将开启内容授权变现的新时代。目前仅有部分大型出版商参与测试，未来可能推动更细粒度定价及智能代理程序化访问。这一举措标志着AI与内容创作者重新谈判分账的开端，也可能影响互联网开放与共享的本质走向。

2025年7月1日，云服务商Cloudflare宣布将默认阻止AI爬虫在未经网站所有者许可或未支付费用的情况下抓取内容。自宣布日起，新注册Cloudflare的域名将被询问是否允许AI爬虫访问，赋予网站阻止爬虫获取数据的能力。Cloudflare CEO表示此举旨在将权力交还创作者，同时不妨碍AI公司创新。然而有律师指出，该措施可能影响AI聊天机器人获取训练和搜索数据，短期内或将对AI模型训练造成冲击。

7月1日，互联网安全公司Cloudflare宣布推出新措施，帮助网站抵御AI爬虫的无限制抓取，并探索‘按爬取付费’模式。新政策要求新签约用户选择是否允许AI爬虫访问其网站，部分大型出版商已选择屏蔽AI爬虫。Cloudflare首席执行官马修·普林斯表示，此举旨在保护内容创作者利益，确保其获得广告收入。此外，Cloudflare启动了‘按爬取付费’测试项目，允许网站向AI爬虫收取访问费用，未来将支持动态定价和多种收费方式，以维护互联网内容生态的可持续发展。

近日，全球最大的网络基础设施公司之一Cloudflare宣布开始用AI对抗AI爬虫，标志着AI领域的一场全面战争拉开序幕。此前，乌克兰小公司Triplegangers因未严格限制爬虫访问，其网站被OpenAI的GPTBot爬取大量数据，导致服务器崩溃。类似事件还发生在iFixit，其内容被Anthropic公司的ClaudeBot大量抓取，尽管已明文禁止用于AI训练。更严重的是，Perplexity爬虫公然无视robots.txt协议，直接抓取未授权内容。面对这一挑战，Cloudflare推出了AI迷宫策略，通过生成虚假内容误导爬虫，保护网站免受侵害。这一系列事件揭示了AI爬虫与内容创作者之间的深刻矛盾，呼吁建立更完善的规则保护原创内容。

3月19日，网络服务商Cloudflare推出名为AI Labyrinth的功能，利用AI生成内容干扰不守规矩的AI爬虫及恶意爬取机器人。该功能通过在页面中设置隐藏链接，链接指向由AI生成的虚假页面，使爬虫浪费时间和资源。此举避免了直接封禁爬虫引发的长期对抗，还能帮助Cloudflare分析爬虫行为特征，优化机器人识别技术。AI Labyrinth面向所有用户，包括免费客户。

标题：AI动态：GPT-5推迟？Cloudflare与苹果隐私保护 OpenAI CTO Mira表示，GPT-4相当于高中生智商，未来一年半后将有具备博士级能力的模型，但未明确提及GPT-5。新模型参数量将是GPT-4的5-10倍，训练复杂，需大量算力。OpenAI的超大集群互联面临挑战，跨集群训...

Cloudflare宣布其AI Gateway已全面上线，作为统一接口管理生成式AI工作负载，助力开发者监控和控制AI应用。这个AIOps平台支持多种AI提供商，如OpenAI、Google等，只需一行代码即可接入，提供性能、安全和成本可见性。AI Gateway还展示了对敏感数据检测的能力，以及实时日志、缓存和速率限制等关键功能。免费核心功能适用于所有计划，未来高级功能需付费。这一公告标志着Cloudflare在AI领域进一步增强其平台能力，挑战AWS在边缘计算市场。