互联网安全和性能优化公司 Cloudflare 宣布了一系列新措施，旨在帮助网站抵御 AI 爬虫的无限制抓取，同时探索一种新的商业模式，以保障互联网内容创作者的利益。
据AI在线了解，根据 Cloudflare 的最新政策，每一个与该公司签约以管理其网站流量的新域名客户将被询问是否允许 AI 爬虫访问其网站，还是选择完全屏蔽这些爬虫。此前，Cloudflare 已于 2024 年推出了一款免费工具，用于阻止 AI 爬虫，但此次更新后，用户无需手动调整设置即可默认屏蔽 AI 爬虫。目前，包括康泰纳仕（Condé Nast）、《时代》杂志（TIME）和美联社（The Associated Press）在内的多家大型出版商已经选择屏蔽 AI 爬虫。
Cloudflare 首席执行官马修・普林斯（Matthew Prince）指出，出版商正面临一场“生存危机”，因为用户不再点击聊天机器人提供的原始链接。如果用户不访问这些网站，网站就无法获得维持运营所需的广告收入。普林斯在一份声明中表示：“原创内容是互联网成为过去一个世纪最伟大发明之一的关键，创作者必须继续创作。AI 爬虫无限制地抓取内容，我们的目标是将权力重新交还给创作者，同时帮助 AI 公司继续创新。这关乎通过一种新的模式，保障一个自由且充满活力的互联网的未来。”
此外，Cloudflare 还启动了一项名为“按爬取付费”的私人测试项目，该项目允许网站所有者向 AI 爬虫收取访问内容的费用。Cloudflare 解释称：“每次 AI 爬虫请求内容时，它们要么通过请求头展示支付意愿以获得成功访问（HTTP 200 响应代码），要么收到一个 402 付款所需响应，其中包含定价信息。”该公司将记录这些交易并提供底层技术基础设施。出版商可以选择允许某些爬虫免费访问其内容，同时也可以为其网站上的其他爬虫设定统一的按请求收费价格。
Cloudflare 表示，“按爬取付费”目前仍处于早期阶段，预计未来会不断演变。公司还支持开发其他市场平台和收费方式，例如允许出版商根据内容类型设置动态定价。
