全球知名的网络基础设施公司 Cloudflare 近日宣布推出一项名为 “AI Labyrinth”（AI 迷宫）的新工具，旨在打击未经授权抓取网站数据的网络爬虫。这一举措的核心在于，当 Cloudflare 监测到不当的爬虫行为时，该工具会将这些爬虫引导到一系列 AI 生成的虚假页面，目的在于 “拖延、迷惑并浪费” 恶意爬虫的资源。
长期以来，网站管理员依赖 “robots.txt” 文件来管理爬虫的访问权限，但很多 AI 公司，包括一些知名企业，如 Anthropic 和 Perplexity AI，常常忽视这一规则。Cloudflare 表示，他们每天面临超过500亿个爬虫请求，尽管有能力识别和阻止恶意请求，但这往往促使攻击者不断调整策略，形成一场无休止的 “军备竞赛”。
与其简单阻止这些爬虫，Cloudflare 的 AI Labyrinth 选择了主动出击。该工具的设计使得爬虫不得不处理与目标网站数据无关的信息，进而将这些爬虫困在虚假的信息中。Cloudflare 强调，AI Labyrinth 不仅是 “下一代诱饵”，它还帮助识别恶意爬虫，了解新出现的爬虫模式和特征。这些链接对普通人来说是不可见的，从而避免了人类用户的困扰。
根据 Cloudflare 的介绍，网站管理员可以通过其 Cloudflare 仪表板中的 “爬虫管理” 部分来选择是否启用 AI Labyrinth。这项新功能的推出只是使用生成 AI 对抗爬虫的第一步，Cloudflare 还计划构建 “整套链接 URL 网络”，使爬虫更难识别虚假数据。值得注意的是，AI Labyrinth 与 Nepenthes 工具类似，后者被设计用来将爬虫 “拖延” 数月，沉浸在大量 AI 生成的垃圾数据中。
官方博客：https://blog.cloudflare.com/ai-labyrinth/
划重点:
🕷️ Cloudflare 推出 “AI Labyrinth”，用于对抗恶意抓取数据的网络爬虫。
🔗 新工具通过 AI 生成虚假页面，引导爬虫进入无用信息中，浪费其资源。
💡 网站管理员可以在 Cloudflare 仪表板上启用此功能，未来还将扩展为更复杂的链接网络。
