RAG
基于Gemini与Qdrant构建生产级RAG管道:设计指南与代码实践
一、RAG技术的核心价值与应用场景在人工智能领域,检索增强生成(Retrieval-Augmented Generation, RAG)正成为解决大语言模型(LLM)知识更新滞后、生成内容不可追溯等问题的关键技术。 传统的微调(Fine-Tuning)方法将知识固化在模型参数中,难以应对动态领域的快速变化;而RAG通过将检索与生成解耦,实现了知识的实时更新与可追溯性,尤其适用于政策频繁变动、对准确性要求极高的场景,如医疗、法律和航空管理。 本文以构建机场智能助理为例,结合Google的Gemini多模态模型与Qdrant向量数据库,详细阐述如何设计并实现一个高可靠、可扩展的生产级RAG管道。
6/3/2025 2:55:00 AM
大模型之路
RAG中基于图的重排序:利用图神经网络革新信息检索(含代码)
一、信息检索的演进与图重排序的崛起在大数据与人工智能技术爆发的时代,信息检索(IR)系统面临着前所未有的挑战:用户查询日益复杂,跨领域知识需求激增,传统基于词法匹配或单一语义向量的检索模型逐渐暴露局限性。 两阶段检索架构——初始检索与重排序——虽已成为主流,但第一阶段的快速检索常因忽略文档间关联而引入噪声,第二阶段的传统重排序器(如交叉编码器)又难以捕捉结构化知识与全局语义关系。 在此背景下,基于图的重排序(Graph-Based Re-ranking)技术应运而生,通过图神经网络(GNN)建模文档、实体与查询间的复杂关系,为信息检索领域注入了全新的活力。
6/3/2025 2:11:00 AM
大模型之路
一文教你玩转 RAG 大模型应用开发
Part.1.RAG这么火,你会用吗? 自从大模型技术走向市场以来,“幻觉”现象总是对用户造成困扰,而RAG(Retrieval-Augmented Generation,检索增强生成)技术正在成为解决这一难题的利器。 国内众多科技大厂在实践RAG技术时都取得了阶段性的成果。
5/30/2025 1:00:00 AM
三笠
一文读懂 RAG Fixed-Size Chunking 策略解析与优秀实践
Hello folks,我是 Luga,今天我们来聊一下人工智能应用场景 - 构建高效、灵活的计算架构的 RAG 架构的切块策略—Fixed-Size Chunking(固定切块)。 众所周知,在构建 RAG(Retrieval-Augmented Generation,检索增强生成)系统的过程中,文档切块策略往往决定了模型检索质量的上限。 切得好,信息命中更精准,生成回答更有上下文逻辑;切得差,模型则容易“答非所问”。
5/28/2025 9:00:00 AM
Luga Lee
我的RAG开源项目300+star了,十分适合新手入门(日志级详细拆解)
三个月前,我在 Github 上开源的一个 RAG 练手项目,目前已经有了 327 个 star,总共解决了 22 个 issues。 结合过去几个月的项目实践,我重新对项目做了轻量化重构,降低资源消耗与部署门槛。 项目地址:,五脏俱全。
5/28/2025 5:00:00 AM
韦东东
RAG(检索增强生成):提升大语言模型性能的终极指南
一、大语言模型的困境:从“鹦鹉学舌”到“知识饥渴”在人工智能领域,大语言模型(LLMs)的出现曾让我们惊叹于其语言能力——它们能流畅对话、撰写文章,甚至模仿人类的逻辑推理。 然而,随着应用场景的深入,这些“超级智能鹦鹉”的局限性逐渐暴露:时效性缺失模型训练数据往往截止到某个固定时间点,无法回答“昨晚比赛结果”“最新政策变化”等实时问题。 知识边界模糊面对企业内部文档、专业领域知识等私有数据时,传统LLMs因缺乏访问权限而无法准确响应。
5/28/2025 1:25:00 AM
大模型之路
RAG 架构实战:Fixed-Size Chunking(固定切块) 解析
Hello folks,我是 Luga,今天我们来聊一下人工智能应用场景 - 构建高效、灵活的计算架构的 RAG 架构的切块策略—Fixed-Size Chunking(固定切块)。 众所周知,在构建 RAG(Retrieval-Augmented Generation,检索增强生成)系统的过程中,文档切块策略往往决定了模型检索质量的上限。 切得好,信息命中更精准,生成回答更有上下文逻辑;切得差,模型则容易“答非所问”。
5/27/2025 8:35:00 AM
Luga Lee
RAG系列:问题优化 - 意图识别&同义改写&多视角分解&补充上下文
在实际业务场景中,知识库不会只有单一领域的知识,可能会存在多个领域的知识,如果对用户问题不提前做领域区分,在对基于距离的向量数据库进行检索时,可能会检索出很多与用户问题不属于同一个领域的文档片段,这样的上下文会存在较多的噪音或者不准确的信息,从而影响最终的回答效果。 另一方面知识库中涵盖的知识表达形式也是有限的,但用户的提问方式却是千人千面的,用户遣词造句的方式以及描述问题的角度可能会与向量数据库中存储的文档片段存在差异,这就可能导致用户问题和知识库之间不能很好匹配,从而降低检索效果。 为了解决此问题,我们可以对用户问题进行查询增强,比如对用户问题进行意图识别、同义改写、多视角分解以及补充上下文,通过这几个查询增强方式来更好地匹配知识库中的文档片段,提升检索效果和回答效果。
5/27/2025 12:40:00 AM
燃哥讲AI
基于图的 RAG 方法总结(GraphRAG、 GraphReader、LightRAG、HippoRAG和KAG)
在自然语言处理领域,检索增强生成(RAG)技术通过结合外部知识库与语言模型,显著提升了模型在知识密集型任务中的表现。 近年来,基于图结构的 RAG 方法成为研究热点,通过引入知识图谱的实体关系建模能力,有效解决了传统 RAG 在多跳推理、长文本理解和全局语义捕捉中的局限性。 本文详细分析五种代表性方法:GraphRAG、GraphReader、LightRAG、HippoRAG和KAG ,从实现细节、优缺点及适用场景展开对比。
5/27/2025 12:15:00 AM
Goldma
RAG系列:系统评估 - 基于LLM-as-judge实现评估系统
引言在 系统评估 - 五个主流评估指标详解 中,我们了解了 RAG 系统评估的 5 个主流指标,它们分别是 上下文召回率(Context Recall)、上下文相关性(Context Relevance)、答案忠实度(Faithfulness)、答案相关性(Answer Relevance)以及答案正确性(Answer Correctness),也简单了解了一些 RAG 系统的评估方法以及主流的评估系统。 今天我们将基于 LLM-as-judge 自己实现一套 RAG 系统评估系统,然后通过该评估系统评估我们在 基于 DeepSeek Chroma LangChain 开发一个简单 RAG 系统 中搭建好的基础版 RAG 系统,以基础版 RAG 系统这 5 个评估指标值作为基准,通过学习不同的优化方法来提升这 5 个指标。 因为是通过 LLM 来评估,所以评估 LLM 的能力越强,理论上评估就会越准确,因此在实际的业务场景中,尽可能选用能力更强的 LLM。
5/26/2025 9:57:46 AM
燃哥讲AI
多模态混合检索与多智能体RAG的破局之道
AI的感知困境:一只眼睛的世界我们习惯了AI能够处理文字、分析数据,但在处理复杂信息时,传统AI面临着三大感知困境:文字与图像割裂好比戴着眼罩工作的设计师,AI只能读懂文字,却看不懂图表中的趋势线、饼图中的占比关系。 OCR技术让AI能提取图像中的文字,却无法理解一张财务图表所传达的"销售额正在快速增长"这类视觉信息。 这就像让一个人只通过摸索来理解一幅画,注定失之偏颇。
5/26/2025 9:49:59 AM
大数据AI智能圈
RAG系列:系统评估 - 五个主流评估指标详解
引言在 RAG系列:一文让你由浅到深搞懂RAG实现 中,我们将 RAG 系统主要分为问题理解、检索召回以及答案生成这三个模块,因此对 RAG 系统的评估也是围绕问题(Question)、检索到的上下文(Retrieved Context)、实际答案(Actual Answer)、参考答案(Reference Answer)这四个维度开展,通过衡量这四个维度之间的相关性来评估 RAG 系统的有效性。 下面我们对每个指标一一展开讲解。 评估指标上下文召回率(Context Recall)衡量检索到的上下文是否覆盖参考答案所需的所有关键信息,避免遗漏关键信息。
5/23/2025 6:00:00 AM
燃哥讲AI
RAG系列:系统评估 - 构造QA测试数据集
引言在 RAG系列:基于 DeepSeek Chroma LangChain 开发一个简单 RAG 系统 中,我们搭建了一个基础版的 RAG 系统,实现了文档解析和切分 - 文档向量化存储 - 用户输入问题 - 根据问题检索相关知识 - 将检索到的知识和原问题重新组合成 prompt - 最后 LLM 根据增强后的 prompt 给出答案。 构造一个基础版的 RAG 系统是非常简单的,借助 LangChain 等框架可快速搭建出完整流程,代码也不会很多,但基础版的问答效果往往比较差,无法直接在实际业务中应用。 在 RAG系列:一文让你由浅到深搞懂RAG实现 中,我们将 RAG 系统主要分为问题理解、检索召回以及答案生成这三个模块。
5/23/2025 2:00:00 AM
阿里燃哥
RAG系列:基于 DeepSeek + Chroma + LangChain 开发一个简单 RAG 系统
创建 Next 项目首先,使用 npx create-next-app@latest 根据提示完成 Next 项目的创建:复制创建好项目之后,在 src/app 目录下新建 rag 目录,本次 demo 的代码都将放在这里。 知识库构建接下来,我们将构建知识库,主要目标是将准备好的 pdf 通过向量化存到向量数据库中,以便后续的检索。 由于本次 RAG 系统的开发都要依赖 LangChain 框架,所以我们先在项目中安装 LangChain 框架和核心依赖:复制文档加载LangChain 的 DocumentLoaders[1] 提供了种类丰富的文档加载器,可加载文件系统的文件也可以加载线上文件,包括 csv、docx、pdf、pptx、html、github、youtube等等。
5/22/2025 6:48:50 AM
赖祥燃
RAG与微调,大语言模型的“大脑升级”,该选哪条路?(小白科普)
最近在做项目时,我发现有些甲方对RAG和模型微调分区的不太清楚,明明大语言模型(LLM)加挂RAG就可以解决的问题,却坚持要微调,但是具体沟通后发现,其实只是不太了解二者的实际用途。 其实,Retrieval-Augmented Generation (RAG) 和微调 (Fine-Tuning) 是两种最常用的LLM的“大脑升级”技术,虽然它们都能提升模型的性能,但工作原理和适用场景却大相径庭。 今天,我就来深入聊聊这两种技术,弄清楚在不同情况下,到底该选 RAG 还是微调。
5/21/2025 3:00:00 AM
贝塔街的万事屋
Build大会最硬核发布:微软把RAG技术塞进Windows,结构化检索让AI拥有"超忆症"
科技圈的目光无疑高度聚焦于微软的年度Build开发者大会。 正如许多人预期的那样,微软一开场就亮出了其核心主题——智能体(Agent)。 微软的意图很明确:将自身定位在“开放智能体网络”(Open Agentic Web)的中心。
5/20/2025 1:45:19 PM
一文揭秘专为 RAG 打造的高性能开源图向量数据库:HelixDB
在人工智能技术尤其是大语言模型(LLM)蓬勃发展的浪潮中,检索增强生成(Retrieval-Augmented Generation,简称 RAG)正迅速成为提升生成式 AI 系统内容准确性、实时性与上下文相关性的核心手段。 RAG 通过将外部知识检索与语言模型推理相结合,显著缓解了模型“幻觉”问题,使其在问答系统、智能助手、企业知识中台等应用中展现出广阔前景。 然而,随着业务需求的不断升级,传统 RAG 系统所依赖的扁平向量表示与单一类型数据库架构,已难以满足对复杂语义结构建模与海量非结构化数据高效检索的双重需求。
5/20/2025 8:50:00 AM
Luga Lee
深度解析大模型技术演进脉络:RAG、Agent与多模态的实战经验与未来图景
作者 | jaymie大模型作为产业变革的核心引擎。 通过RAG、Agent与多模态技术正在重塑AI与现实的交互边界。 三者协同演进,不仅攻克了数据时效性、专业适配等核心挑战,更推动行业从效率革新迈向业务重构。
5/20/2025 8:30:00 AM
腾讯技术工程
资讯热榜
标签云
AI
人工智能
OpenAI
AIGC
模型
ChatGPT
DeepSeek
AI绘画
谷歌
机器人
数据
大模型
Midjourney
开源
智能
Meta
用户
微软
GPT
学习
技术
图像
Gemini
马斯克
智能体
AI创作
Anthropic
英伟达
论文
AI新词
代码
训练
算法
Stable Diffusion
LLM
芯片
蛋白质
腾讯
开发者
Claude
苹果
生成式
AI for Science
Agent
神经网络
3D
机器学习
研究
xAI
生成
人形机器人
AI视频
计算
百度
Sora
GPU
工具
华为
RAG
AI设计
大语言模型
搜索
字节跳动
具身智能
大型语言模型
场景
深度学习
预测
视频生成
伟达
视觉
Transformer
AGI
架构
神器推荐
亚马逊
Copilot
特斯拉
应用
DeepMind