ClaudeBot

24 小时抓取百万次，Anthropic AI 公司被指过度抓取网站数据

金融时报（FT）发布博文，指出 AI 公司 Anthropic 虽然声称“要负责任地开发 AI”，但通过 ClaudeBot 机器人过度抓取网站数据，用于训练 Claude 大语言模型。尽管使用网络爬虫抓取数据是人工智能行业普遍做法，但 Anthropic 因其激进程度而受到批评。自由职业者网站 Freelancer 也表示，ClaudeBot 在四小时内访问了 350 万次，被迫对其进行屏蔽。批评者指出，Anthropic 无视网站的 robots.txt 协议，强行获取数据，与其宣称的“负责任的 AI”理念相悖

7/31/2024 8:44:52 AM

故渊

无视网站反 AI 抓取政策，Anthropic 爬虫机器人惹多个网站所有者不满

据 The Verge 当地时间 26 日报道，Anthropic 公司使用的 ClaudeBot 在短短 24 小时之内，就访问了 iFixit 网站近百万次，此举违反了该网站的使用条款。这一显得有些疯狂的举动，引起 iFixit 的 CEO Kyle Wiens 直接在 X（推特）上开怼，AI在线附大意如下：“如果这些请求（指访问）中的任何一个访问了我们的使用条款，那么它会告诉你我们的内容被明确禁止使用。别问我，去问 Claude！”“我知道你渴望获得数据，Claude 也真的很聪明！但是，你真的有必要在 24

7/27/2024 6:17:20 PM

清源

资讯热榜

OpenAI 开源模型被 Meta 研究员“逆改”！只动0.3%参数，gpt-oss-20B 解锁无约束基座奥特曼：我承认GPT-5发布搞砸了大模型给自己当裁判并不靠谱！上海交通大学新研究揭示LLM-as-a-judge机制缺陷谷歌最新「0.27B」Gemma 3开源！身板小却猛如虎，开发者直呼救命稻草 GPT-5遭用户吐槽 “垃圾”：缩放定律失效，AGI梦渐行渐远？从GPT-2到gpt-oss，深度详解OpenAI开放模型的进化之路蚂蚁AI健康管家AQ上线四大打假功能向假医疗广告宣战 OpenAI突然"背叛"自己：推理与创作分家，万能AI时代终结？

标签云

AI 人工智能 OpenAI AIGC 模型 ChatGPT DeepSeek AI绘画谷歌机器人数据大模型 Midjourney 开源智能用户 Meta 微软 GPT 学习技术图像 Gemini 马斯克 AI创作智能体论文 Anthropic 英伟达代码训练算法 Stable Diffusion 芯片 LLM AI新词蛋白质开发者腾讯生成式 Claude 苹果 Agent AI for Science 神经网络 3D 机器学习研究生成人形机器人 xAI AI视频计算 Sora 百度 GPU AI设计华为工具大语言模型搜索具身智能 RAG 字节跳动场景大型语言模型深度学习预测伟达视觉 Transformer 视频生成 AGI 架构神器推荐亚马逊 Copilot DeepMind 特斯拉应用