Cloudflare 推出 AI Labyrinth 功能：以 AI 生成内容对抗 AI 爬虫

作者：溯波（实习） 2025-03-21 05:38

该功能在页面中添加指向 AI 生成内容页面的隐藏链接，仅有爬虫才会前往这些隐藏链接。

网络服务商 Cloudflare 当地时间本月 19 日发布了一项名为 AI Labyrinth 的有趣功能：利用 AI 生成内容以非禁止的方式干扰不遵守“禁止爬取”声明的 AI 爬虫和其它恶意内容爬取机器人。

AI在线注：Labyrinth 一词的含义即“迷宫”。

根据 Cloudflare 的观察，直接硬性禁止恶意爬虫容易激起爬取和反爬两方无休止的“军备竞赛”，与其陷入一场漫长的对抗中不如让爬虫“以为”得到了真实的内容实际上却一无所获。

AI Labyrinth 的具体运作方式是在页面中设置人类使用者无法看到或点击的隐藏链接，仅有恶意爬虫才会注意到它们。而这些链接指向一系列由 AI 生成的页面，爬虫的时间和资源会浪费在这些非真实网站中。

这一功能也意味仅有恶意 AI 爬虫才会陷入到 AI Labyrinth 编织的内容迷宫中，Cloudflare 能更好了解这些爬虫的行为特征，从而为机器人识别提供数据基础。

Cloudflare 表示 AI Labyrinth 向包括免费客户在内的全部使用者提供。

Cloudflare 推出 “AI 迷宫”，引导恶意爬虫走入虚假数据陷阱

全球知名的网络基础设施公司 Cloudflare 近日宣布推出一项名为 “AI Labyrinth”（AI 迷宫）的新工具，旨在打击未经授权抓取网站数据的网络爬虫。这一举措的核心在于，当 Cloudflare 监测到不当的爬虫行为时，该工具会将这些爬虫引导到一系列 AI 生成的虚假页面，目的在于 “拖延、迷惑并浪费” 恶意爬虫的资源。长期以来，网站管理员依赖 “robots.txt” 文件来管理爬虫的访问权限，但很多 AI 公司，包括一些知名企业，如 Anthropic 和 Perplexity AI，常常忽视这一规则。

3/24/2025 9:40:00 AM

AI在线

AI领域的全面战争，从AI爬虫毁灭互联网开始

昨天看到一个非常有意思的事情。这是第一次，全世界最大的网络基础设施公司之一，Cloudflare，开始用魔法打败魔法，用 AI 来对抗 AI 爬虫。这事情的有意思的程度，足以载入 AI 发展史册。

3/25/2025 12:02:42 AM

数字生命卡兹克

调查：超72% 的企业选择 AI 工具时最看重易用性

根据最近的一项 CIO 报告，企业在人工智能（AI）领域的投资高达2.5亿美元，尽管在证明投资回报率(ROI)方面面临挑战。商业领袖们正努力提高生产力，但新技术的集成往往需要重构现有应用、更新流程并激励员工学习，以适应现代商业环境。 QuickBlox 首席执行官 Nate MacLeitch 对136位高管进行了调查，以揭示 AI 采用的现实情况，探讨领导者的首要任务、主要担忧以及他们在2025年寻找可信工具的信息来源。

3/18/2025 10:02:00 AM

AI在线

Cloudflare 推出 AI Labyrinth 功能：以 AI 生成内容对抗 AI 爬虫

相关资讯

Cloudflare 推出 “AI 迷宫”，引导恶意爬虫走入虚假数据陷阱

AI领域的全面战争，从AI爬虫毁灭互联网开始

调查：超72% 的企业选择 AI 工具时最看重易用性