近日，全球最大的网络基础设施公司之一Cloudflare宣布开始用AI对抗AI爬虫，标志着AI领域的一场全面战争拉开序幕。此前，乌克兰小公司Triplegangers因未严格限制爬虫访问，其网站被OpenAI的GPTBot爬取大量数据，导致服务器崩溃。类似事件还发生在iFixit，其内容被Anthropic公司的ClaudeBot大量抓取，尽管已明文禁止用于AI训练。更严重的是，Perplexity爬虫公然无视robots.txt协议，直接抓取未授权内容。面对这一挑战，Cloudflare推出了AI迷宫策略，通过生成虚假内容误导爬虫，保护网站免受侵害。这一系列事件揭示了AI爬虫与内容创作者之间的深刻矛盾，呼吁建立更完善的规则保护原创内容。