爬虫

Nature警告：AI「数据饥渴症」引爆学术宕机潮！90%知识库濒临崩盘

假如一个平日里宁静的图书馆，突然涌入一大群不速之客，他们不阅览、不沉思，只是一味地疯狂复印每一本书的每一页。这喧嚣吵闹的场面，怎能不打扰那些正埋首书海、专心阅读的人们呢？如今，学术网站正遭遇类似的「数字入侵」。

6/17/2025 9:08:00 AM

如何利用网络爬虫进行大规模LLM数据收集

大语言模型的 “智慧” 很大程度上依赖于其训练数据的质量和数量。想要打造一个能够理解真实世界的模型，就必须获取来自真实世界的信息，而互联网无疑是海量数据的主要来源。本文将深入探讨如何利用网络爬虫收集大规模、适用于 AI 训练的数据，为人工智能模型的训练筑牢坚实基础。

4/27/2025 4:05:00 AM

大模型之路

五个基于 LLM 的开源爬虫项目

由于互联网在技术、内容、渠道等方面越来越多样化，并且不断在演变。传统的爬虫大多时候都要根据网页进行定制开发。这种道高一尺魔高一丈的循环，意味着要把有限精力投入到无限的变化中，难以动态响应互联网的变化。

11/27/2024 4:17:00 PM

zone7

Meta 部署新网络爬虫机器人，为其 AI 模型收集大量数据

北京时间 8 月 21 日，近日，Meta 悄悄地发布了一款新的网络爬虫，用于搜索互联网并收集大量数据，为其人工智能模型提供支持。据三家追踪网络抓取器的公司称，Meta 新网络爬虫机器人 Meta External Agent 于上月推出，类似于 OpenAI 的 GPTBot，可以抓取网络上的人工智能训练数据，例如新闻文章中的文本或在线讨论组中的对话。根据使用档案历史记录显示，Meta 确实在 7 月底更新了一个面向开发者的公司网站，其中一个标签显示了新爬虫的存在，但 Meta 至今还没有公开宣布其新爬虫机器人。

8/21/2024 1:10:05 PM

余青

资讯热榜

阿里推出 AI 医学助手 App“氢离子”：收录千万级核心期刊文献，还可查疾病、找药品刷新无监督异常检测上限！首提「匹配代价滤波for异常检测」范式 | ICML'25 中国移动“九天”通用基础大模型 3.0 发布，核心技术开源业界首个，腾讯混元 3D 世界模型正式发布并开源 AI和云基础设施初创企业E2B如何成为88%的财富100强企业的必备选择腾讯Robotics X具身智能开放平台Tairos发布，融合左脑、右脑、小脑 FastAPI开发AI应用：模型新增图片理解 AI 预测点球方向准确率超人类守门员，高达 52%

标签云

人工智能 AI OpenAI AIGC 模型 ChatGPT DeepSeek AI绘画谷歌机器人数据大模型 Midjourney 开源智能用户 Meta 微软 GPT 学习技术图像 Gemini AI创作马斯克论文智能体 Anthropic 英伟达代码算法训练 Stable Diffusion 芯片蛋白质开发者腾讯生成式 LLM 苹果 Claude 神经网络 AI新词 3D 研究机器学习生成 AI for Science Agent xAI 计算人形机器人 Sora AI视频 GPU AI设计百度华为搜索大语言模型工具场景字节跳动具身智能 RAG 大型语言模型预测深度学习伟达视觉 Transformer AGI 视频生成神器推荐亚马逊 Copilot DeepMind 架构模态应用