AI在线 AI在线

无视网站反 AI 抓取政策,Anthropic 爬虫机器人惹多个网站所有者不满

据 The Verge 当地时间 26 日报道,Anthropic 公司使用的 ClaudeBot 在短短 24 小时之内,就访问了 iFixit 网站近百万次,此举违反了该网站的使用条款。这一显得有些疯狂的举动,引起 iFixit 的 CEO Kyle Wiens 直接在 X(推特)上开怼,AI在线附大意如下:“如果这些请求(指访问)中的任何一个访问了我们的使用条款,那么它会告诉你我们的内容被明确禁止使用。别问我,去问 Claude!”“我知道你渴望获得数据,Claude 也真的很聪明!但是,你真的有必要在 24

据 The Verge 当地时间 26 日报道,Anthropic 公司使用的 ClaudeBot 在短短 24 小时之内,就访问了 iFixit 网站近百万次,此举违反了该网站的使用条款。

这一显得有些疯狂的举动,引起 iFixit 的 CEO Kyle Wiens 直接在 X(推特)上开怼,AI在线附大意如下:

“如果这些请求(指访问)中的任何一个访问了我们的使用条款,那么它会告诉你我们的内容被明确禁止使用。别问我,去问 Claude!”

“我知道你渴望获得数据,Claude 也真的很聪明!但是,你真的有必要在 24 小时内访问我们的服务器 100 万次吗?你不仅在不付费的情况下获取我们的内容,还占用了我们的 devops 资源,一点都不酷!”

“如果你想要跟我们谈谈内容许可和商业用途的话,我们就在这呢。”

无视网站反 AI 抓取政策,Anthropic 爬虫机器人惹多个网站所有者不满

iFixit 的使用条款政策声明,“未经公司事先明确的书面许可,严格禁止复制、复制或分发”网站上的任何内容,特别包括“用于训练机器学习或 AI 模型”。

Wiens 此后表示,iFixit 已经在其 robots.txt 文件中添加了“爬行延迟”扩展。

然而,iFixit 并非唯一的受害者。Read the Docs 联合创始人 Eric Holscher 和 Freelancer.com CEO Matt Barrie 在 Wiens 的帖子中表示,他们的网站也曾被 Anthropic 的爬虫频繁抓取。

这些行为并非 ClaudeBot 的“初犯”。早在今年 4 月,Linux Mint 网站论坛就将一次网站故障归因于 ClaudeBot 的抓取活动造成的压力。

相关资讯

24 小时抓取百万次,Anthropic AI 公司被指过度抓取网站数据

金融时报(FT)发布博文,指出 AI 公司 Anthropic 虽然声称“要负责任地开发 AI”,但通过 ClaudeBot 机器人过度抓取网站数据,用于训练 Claude 大语言模型。尽管使用网络爬虫抓取数据是人工智能行业普遍做法,但 Anthropic 因其激进程度而受到批评。自由职业者网站 Freelancer 也表示,ClaudeBot 在四小时内访问了 350 万次,被迫对其进行屏蔽。批评者指出,Anthropic 无视网站的 robots.txt 协议,强行获取数据,与其宣称的“负责任的 AI”理念相悖
7/31/2024 8:44:52 AM
故渊

AI领域的全面战争,从AI爬虫毁灭互联网开始

昨天看到一个非常有意思的事情。 这是第一次,全世界最大的网络基础设施公司之一,Cloudflare,开始用魔法打败魔法,用 AI 来对抗 AI 爬虫。 这事情的有意思的程度,足以载入 AI 发展史册。
3/25/2025 12:02:42 AM
数字生命卡兹克

API价格仅Claude Opus的1/25,Kimi K2强势吸流Cursor用户

近日,多位开发者反馈称,美国知名编程助手 Cursor 官方通知将限制部分区域模型访问权限,并已启动相应退款流程。 此举引发广泛关注,并迅速引导大量用户涌入月之暗面推出的大模型平台——Kimi K2等替代方案。 据月之暗面披露的 OpenRouter 最新数据,Kimi K2的调用量暴增,日均已突破100亿 token,与刚刚发布不久的马斯克旗下 Grok-4 并列 OpenRouter 增长榜前两名。
7/17/2025 3:31:34 PM
AI在线
  • 1