AI在线 AI在线

AI爬虫“入侵”网络:Fastly 报告揭示,Meta、OpenAI 等巨头成主要流量来源

您好,这是一份我为您整理的关于AI爬虫对网络影响的新闻稿,内容紧凑且重点突出。 据云服务公司 Fastly 最新报告显示,人工智能(AI)爬虫正在给开放网络带来沉重负担,网站流量的显著增长并非来自人类访客,而是日益庞大的机器人程序,特别是来自大型AI公司的爬虫和抓取程序。 报告指出,在所有访问网站的AI机器人流量中,AI爬虫占据了高达**80%的份额,而剩下的20%**则由 AI抓取程序贡献。

您好,这是一份我为您整理的关于AI爬虫对网络影响的新闻稿,内容紧凑且重点突出。

据云服务公司 Fastly 最新报告显示,人工智能(AI)爬虫正在给开放网络带来沉重负担,网站流量的显著增长并非来自人类访客,而是日益庞大的机器人程序,特别是来自大型AI公司的爬虫和抓取程序。

报告指出,在所有访问网站的AI机器人流量中,AI爬虫占据了高达**80%的份额,而剩下的20%**则由 AI抓取程序贡献。这些抓取程序会在用户向大型语言模型(LLMs)请求训练数据日期之后的信息时按需触发,从而在短时间内造成流量的爆发式增长。

黑客 泄露

在AI爬虫流量方面,报告揭示了主要科技公司所占的比例:Meta 的AI爬虫流量占比高达 52%,居于首位;紧随其后的是 谷歌OpenAI,分别占据了 23%20% 的流量;而 AnthropicPerplexity AI 所占份额较小,分别为 3.76%1.12%

与AI爬虫相比,AI抓取程序的流量爆发性更强。Fastly 监测到,一个抓取程序每分钟就能产生超过 39,000个请求。值得注意的是,OpenAI 公司在AI抓取程序流量中占据了绝对主导地位,占比高达 98%。这表明,当用户向OpenAI的大模型提出实时性信息需求时,会触发大量的即时抓取行为,对网站服务器造成瞬间的巨大压力。

相关资讯

AI领域的全面战争,从AI爬虫毁灭互联网开始

昨天看到一个非常有意思的事情。 这是第一次,全世界最大的网络基础设施公司之一,Cloudflare,开始用魔法打败魔法,用 AI 来对抗 AI 爬虫。 这事情的有意思的程度,足以载入 AI 发展史册。
3/25/2025 12:02:42 AM
数字生命卡兹克

Cloudflare 推出新举措:助力网站抵御 AI 爬虫,探索“按爬取付费”模式

互联网安全公司 Cloudflare 宣布新措施,帮网站抵御 AI 爬虫。签约新域名客户可选择是否允许访问,默认屏蔽。还启动“按爬取付费”测试,出版商可收费。目前该项目处早期,未来或演变。#Cloudflare #AI 爬虫 #按爬取付费#
7/1/2025 9:16:07 PM
远洋

云计算巨头 Cloudflare 推出 “按爬虫付费” 市场,让网站内容变现更轻松

Cloudflare近日宣布推出一个颠覆性的市场 ——“按爬虫付费”,旨在重塑网站拥有者与人工智能(AI)公司的关系。 这一全新市场将帮助内容出版者更好地控制他们的内容,同时为 AI 公司提供一种公平的抓取内容的方式。 过去一年,Cloudflare 为应对 AI 爬虫的激增推出了多项工具,包括一键阻止所有 AI 爬虫的解决方案和监控 AI 爬虫访问情况的仪表板。
7/2/2025 3:00:55 PM
AI在线
  • 1