AI在线 AI在线

RAG

RAG 中的语义分块:实现更优的上下文检索

检索增强生成(RAG)技术异军突起,席卷了整个大语言模型领域。 通过将大语言模型(LLMs)的强大能力与外部知识检索相结合,RAG使得模型能够生成准确且有依据的回复,即便在专业领域也不例外。 在每一个表现卓越的RAG流程背后,都有一个默默发挥关键作用的 “英雄”:分块技术,尤其是语义分块。
5/7/2025 8:35:11 AM
大模型之路

五种RAG分块策略详解 + LlamaIndex代码演示

先前文章中提到,不断优化原始文档解析和分块策略是控制变量法下,是提高最后检索效果天花板的务实做法,前面已经介绍了 MinerU vs DeepDoc 在文档解析方面的效果对比。 MinerU vs DeepDoc:集成方案 图片显示优化关于文档解析部分简单的结论是,MinerU 无疑是值得关注和尝试的一个文档解析框架,但具体效果还要结合特定项目文档做仔细横评。 我目前在常规项目中,主要是对照使用 DeepDoc 和 MinerU 两个方法。
5/6/2025 10:05:23 AM
韦东东

如何选择Embedding Model?关于嵌入模型的十个思考

在大模型应用中,尤其基于RAG框架的大模型应用,嵌入模型(embedding Model)是不可或缺的关键组件。 这里总结了笔者在实践中关于潜入模型的10个思考,希望对大家有所帮助。 嵌入模型在RAG中的重要性嵌入模型能够将文本转换成数值形式的向量,这让计算机可以更高效地处理、对比和检索信息。
5/6/2025 8:51:37 AM
曹洪伟

理解 RAG 第七部分 矢量数据库和索引策略

在 RAG 系统中高效检索知识是提供准确及时响应的关键。 矢量数据库和索引策略在增强 RAG 系统性能方面发挥着至关重要的作用。 本文延续“理解 RAG”系列文章,概念化 RAG 系统中常用的矢量数据库和索引技术。
4/29/2025 9:22:17 AM
晓晓

Adaptive-RAG:让检索增强生成更智能

在人工智能领域,检索增强生成(Retrieval-Augmented Generation,RAG)一直是研究热点。 它通过结合检索和生成技术,为问答系统带来了更强大的性能。 然而,现有的RAG方法并非完美无缺。
4/29/2025 8:20:51 AM
Goldma

理解 RAG 第五部分:管理上下文长度

传统的大型语言模型 (LLM)存在上下文长度限制,这限制了单次用户与模型交互中处理的信息量,这是其主要局限性之一。 解决这一限制一直是 LLM 开发社区的主要工作方向之一,提高了人们对增加上下文长度在生成更连贯、更准确响应方面优势的认识。 例如,2020 年发布的 GPT-3 上下文长度为 2048 个 token,而其更年轻但功能更强大的兄弟 GPT-4 Turbo(诞生于 2023 年)允许在单个提示中处理高达 128K 个 token。
4/28/2025 9:02:14 AM

蚂蚁OceanBase 发布全员信:CTO杨传辉担任AI一号位 瞄准AI数据底座

蚂蚁集团旗下分布式数据库OceanBase今日宣布了一项重大人才和组织体系升级,旨在全力保障公司AI战略的高效落地。 OceanBase CEO杨冰在全员信中透露了这一决定。 根据全员信内容,OceanBase CTO杨传辉将担任公司AI战略的“一号位”,全面统筹AI战略的制定以及相关技术和产品的落地实施。
4/27/2025 3:00:38 PM
AI在线

理解 RAG 第四部分:检索增强生成评估框架

检索增强生成(RAG) 在扩展独立大型语言模型(LLM)的局限性和克服其诸多限制方面发挥了关键作用。 通过整合检索器,RAG 增强了响应的相关性和事实准确性:它只需实时利用外部知识源(例如矢量文档库),并在原始用户查询或提示中添加相关的上下文信息,然后将其传递给 LLM 进行输出生成。 对于那些深入 RAG 领域的人来说,一个自然而然的问题出现了:我们如何评估这些远非简单的系统?
4/27/2025 12:30:00 AM
晓晓

揭秘 RAG:为什么说它是让大语言模型(LLM)更聪明的秘密武器?

现在人工智能(AI)很火,尤其是像 ChatGPT 这样的大语言模型(LLM),它们能聊天、写文章、写代码,感觉无所不能。 但有时候,它们也会犯一些小错误,比如信息过时了,或者一本正经地胡说八道(这叫“幻觉”),或者你问它一些你们公司内部的事情,它就完全不知道了。 为了解决这些问题,科学家们想出了一个聪明的办法,叫做RAG。
4/25/2025 10:03:12 AM
用户007

理解 RAG 第三部分:融合检索与重新排序

我们之前介绍了什么是 RAG、它在大型语言模型 (LLM) 中的重要性,以及 RAG 的经典检索器、生成器系统是什么样的,本系列的第三篇文章探讨了一种构建 RAG 系统的升级方法:融合检索。 在深入探讨之前,值得简要回顾一下我们在本系列第二部分中探讨过的基本 RAG 方案。 融合检索解析融合检索方法涉及在检索增强生成(RAG)系统的检索阶段中融合或聚合多个信息流。
4/24/2025 9:04:42 AM
晓晓

理解 RAG 第二部分:经典 RAG 的工作原理

在本系列的第一篇文章中,我们介绍了检索增强生成 (RAG) ,并解释了扩展传统大型语言模型 (LLM)功能的必要性。 我们还简要概述了 RAG 的核心思想:从外部知识库中检索上下文相关的信息,以确保 LLM 生成准确且最新的信息,而不会产生幻觉,也无需不断地重新训练模型。 本系列的第二篇文章将揭秘传统 RAG 系统运行的机制。
4/24/2025 1:10:00 AM
晓晓

理解 RAG 第一部分:为什么需要它

自然语言处理(NLP) 是人工智能(AI)的一个领域,旨在教会计算机理解人类的书面和口头语言,并运用这些语言与人类互动。 虽然传统的 NLP 方法已研究数十年,但近年来出现的大型语言模型(LLM) 几乎主导了该领域的所有发展。 LLM 通过将复杂的深度学习架构与能够分析语言中复杂模式和相互依赖关系的自注意力机制相结合,彻底改变了 NLP 和整个人工智能领域。
4/24/2025 12:10:00 AM
晓晓

少即是多:为什么文档检索量低反而会提高答案质量

译者 | 核子可乐审校 | 重楼检索增强生成(RAG)是一种将语言模型与外部知识源结合的AI系统构建方法。 简单来说,AI会先搜索与用户查询相关的文档(如文章或网页),然后利用这些文档生成更准确的答案。 这种方法因能帮助大语言模型(LLM)扎根真实数据、减少虚构信息而受到推崇。
4/23/2025 8:14:41 AM
核子可乐

MinerU部署实践:从零开始搭建你的专属PDF解析服务

在多模态RAG(Retrieval-Augmented Generation)系统中,PDF文件的高效、安全解析与处理是实现高质量知识检索和生成的关键环节。 PDF文件通常包含丰富的文本、图像和表格信息,这些多模态数据的有效提取和整合对于提升RAG系统的性能至关重要。 然而,传统的PDF解析工具往往存在解析精度不足、无法处理复杂格式(如图像和表格)等问题,尤其是在涉及私密文档时,数据安全和隐私保护也是一大挑战。
4/23/2025 3:00:00 AM
Goldma

RAG增强系统Node:AI检索革命,效率飙升30%!

随着生成式人工智能技术的飞速发展,检索增强生成(Retrieval-Augmented Generation, RAG)系统正成为提升大语言模型(LLM)准确性和上下文相关性的关键技术。 近日,一款名为NodeRAG的创新RAG增强系统引起了业界广泛关注,其独特的异构图结构为RAG工作流带来了革命性突破。 NodeRAG:异构图驱动的RAG新范式NodeRAG是一个以图结构为核心的RAG框架,通过引入异构图(Heterogeneous Graph)技术,将文档分解信息与大语言模型提取的洞察力统一为图中的节点。
4/22/2025 2:00:41 PM
AI在线

万字拆解!最新多模态 RAG 技术全景解析!

来自华为云的最新多模态RAG综述,非常全面,对多模态RAG感兴趣的朋友强烈推荐! 复制1、引言传统的RAG系统主要依赖于文本数据,通过检索与查询语义相似的相关文档片段,并将其与查询结合,形成增强的输入,供LLMs生成回答。 这种方法使得LLMs能够在推理阶段动态整合最新信息,从而提高回答的准确性和可靠性。
4/22/2025 7:00:00 AM
Goldma

Cohere在微软Azure AI Foundry推出两款新模型,助力RAG与智能体AI工作流优化

近日,Cohere在微软Azure AI Foundry平台上推出了两款全新模型——Command A和Embed 4,为企业级RAG(检索增强生成)和智能体AI工作流带来显著提升。 这两款模型以其生产就绪和高开发友好性,广泛适用于智能文档问答、企业级Copilot以及可扩展的搜索应用场景。 Command A:驱动智能体AI的高效引擎Command A是Cohere专为智能体AI工作流设计的大型语言模型(LLM),能够无缝集成到复杂的企业应用中。
4/21/2025 12:00:57 PM
AI在线

打破LLM的语境障碍:InfiniRetri vs RAG

译者 | 晶颜审校 | 重楼大型语言模型(LLM)正在重塑人工智能的格局,然其亦面临一项持续性挑战——检索和利用超出其训练数据的信息。 目前,有两种模式相左的方法可以解决这个问题:其一为InfiniRetri,该方法借助LLM自身的注意力机制,从长输入中检索相关上下文;其二是检索增强生成(RAG),它在生成响应前,动态地从结构化数据库获取外部知识。 每种方法都有其独特的优势、局限性和权衡之处。
4/21/2025 8:11:09 AM
晶颜