RAG
手搓RAG新增功能:递归检索与迭代查询+重回成熟框架API
在上那篇提到的我手搓的那个 RAG 项目新增功能中,漏掉了递归检索与迭代查询,这篇补上(源码见知识星球)。 经过初步调试对召回效果有明显提升,这种方法解决了传统 RAG 的几个关键问题:处理复杂多步骤问题:通过多次迭代,分解复杂问题信息不足的补充:当初始检索结果不足以回答问题时,自动生成补充查询多角度信息收集:能够从不同角度收集相关信息1、递归检索具体实现递归检索函数(recursive_retrieval)(支持最多三次迭代查询)每次迭代使用混合检索(向量检索 BM25)获取信息使用 LLM 分析当前检索结果,判断是否需要进一步查询如果需要,LLM 会生成新的查询问题,用于下一轮检索换句话说,递归检索的工作原理可以理解为"先检索-后思考-再检索"的过程,模拟了人解决问题的方式:先获取一些信息,思考下是否足够,如果不够则继续查找更多相关信息。 总之,好的结果不是一蹴而就的。
3/10/2025 9:20:00 AM
韦东东
现在的AI Agent还是这么差!
编辑 | 言征出品 | 51CTO技术栈(微信号:blog51cto)背景是这样的。 前几天,我发现我的XX激光雷达出了问题。 本来我靠它来为电影摄像机增加自动对焦和自动跟踪功能,如果没有这项功能,我会很难拍摄到我需要的画面。
3/5/2025 6:45:26 PM
言征
没有捷径:RAG入门不推荐直接使用成熟框架
春节期间我在 Github 开源的 RAG 项目目前已经攒了 134 个 Star,盲猜可能也是因为最开始用的就是 Ollama 本地部署 DeepSeek-r1:7b 的方案,年后当本地部署知识库和 deepseek火了起来之后,被动蹭了一波流量。 1、为什么重复造轮子? 但是,在过去的一个月时间里也收到了很多网友的私信,询问关于为什么市面上已经有了类似 AnythingLLM、Cherry Studio、Dify、RAGFlow 等成熟的开源框架,还要重复造轮子去编一个不是很好用的 RAG 项目。
3/4/2025 11:01:00 AM
韦东东
企业实施RAG过程中:常见误解与澄清,内含项目升级预告
春节之后的一个月的时间内,微信和小红书上数了下大概有 150 多个过来咨询 RAG 在企业落地的网友,一路聊下来按照对方的诉求大概分为三类,第一种是最多的就是年后返工公司领导让落地 RAG,但是一时没有头绪的过来咨询的;第二种是看过我公众号上的相关案例后,想外包给我来做具体实施的;第三种有点出乎意料的是,相关的媒体来交流行业观察的。 第一种类型也是最开始比较多的,最初我也是问啥答啥,但是大概聊了五六个之后发现情况有点不对,大部分其实是比较基础的问题,或者我认为问大模型能比问我更快扫盲的,再加上后来确实肉眼可见的人在变多,我索性和每个人说如果是咨询的话 200 块每小时(现在涨到了 500),这样就大部分人就索性不问了,虽说前后也是有十几个人很干脆的问完问题后直接发了红包,不过不得不说收费确实是个很好的互相筛选。 以上是碎碎念,言归正传,这篇给大家介绍下我目前几个项目实践踩坑过程中总结出的些经验。
3/4/2025 10:53:59 AM
韦东东
一文读懂大模型 RAG:检索、增强与生成的技术详解
大模型(Large Language Model,LLM)的浪潮已经席卷了几乎各行业,但当涉及到专业场景或行业细分领域时,通用大模型往往面临专业知识不足的问题。 相对于成本昂贵的“Post-Training”或“Supervised Fine-Tuning”(监督微调,SFT),基于RAG的技术方案成为了一种更优选择。 本文笔者将从RAG所解决的问题及模拟场景入手,详细总结相关技术细节,与大家分享~一、初识:RAG所解决的问题及模拟场景1.
3/4/2025 9:10:00 AM
小喵学AI
阿里通义实验室开源视觉文档RAG系统ViDoRAG,准确率达79.4%
近日,阿里巴巴通义实验室宣布开源其最新研发成果——ViDoRAG,这是一款专为视觉文档理解设计的检索增强生成(RAG)系统。 ViDoRAG在GPT-4o模型上的测试显示,其准确率达到了令人瞩目的79.4%,相较传统RAG系统提升了10%以上。 这一突破标志着视觉文档处理领域迈出了重要一步,为人工智能在复杂文档理解上的应用提供了新的可能性。
3/3/2025 4:29:00 PM
AI在线
RAG(一)RAG开山之作:知识密集型NLP任务的“新范式”
在AI应用爆发的时代,RAG(Retrieval-Augmented Generation,检索增强生成)技术正逐渐成为AI 2.0时代的“杀手级”应用。 它通过将信息检索与文本生成相结合,突破了传统生成模型在知识覆盖和回答准确性上的瓶颈。 不仅提升了模型的性能和可靠性,还降低了成本,增强了可解释性。
3/3/2025 11:41:11 AM
Glodma
绕过 RAG 实时检索瓶颈,缓存增强生成(CAG)如何助力性能突破?
检索增强生成(RAG)作为一种通过整合外部知识源来增强语言模型的强大方法而备受瞩目。 不过,这种方法也带来了一些挑战,比如检索过程的延迟、文档挑选时可能出现的误差,以及系统复杂度的增加。 随着能够处理更长上下文的大语言模型(LLMs)的兴起,缓存增强生成(CAG)技术应运而生,它避免了实时的信息检索。
2/27/2025 10:55:44 AM
追求卓越的
GitHub 上流行的 RAG 框架介绍及优缺点分析
随着大型语言模型在自然语言处理中的广泛应用,其固有的知识截止和“幻觉”问题逐渐暴露。 为了解决这些问题,检索增强生成(Retrieval-Augmented Generation,简称 RAG) 技术应运而生。 RAG 通过将外部知识库中的相关信息检索出来,并将这些信息融合到生成过程的上下文中,从而大幅提高了回答的准确性、时效性以及上下文一致性。
2/27/2025 9:00:00 AM
利用RAG整合代码私有仓库实现私有化代码提示的流程
RAG流程RAG(Retrieval-Augmented Generation,检索增强生成)是一种结合信息检索与生成模型的技术,旨在通过外部知识库增强生成内容的准确性和相关性。 1. 数据预处理与索引构建(离线阶段)目标:构建可供检索的知识库。
2/26/2025 12:21:08 PM
demo123567
解决RAG与长上下文模型的困境,你学会了吗?
长文本模型非常适合减少某些需要更长上下文用例的幻觉,但并非所有情况都理想。 译自Solving the RAG vs. Long Context Model Dilemma,作者 Kiran Matty。
2/26/2025 12:16:56 AM
岱军
企业RAG落地避坑指南:自主开发 vs 三大框架,核心配置与选型全解析
这个项目原是春节期间在老家给一个企业做 RAG 项目咨询的精简版本,使用 Gradio 构建 Web 界面供大家测试使用。 本是希望大家在这个基础上根据个人或者企业需求进行二次开发,但是在小红书、微信收到一些后台私信里,在集中咨询关于自行开发和现有主流 RAG 框架的区别。 所以,有了这篇。
2/24/2025 2:16:31 PM
韦东东
构建一个完全本地的语音激活的实用RAG系统
译者 | 布加迪审校 | 重楼本文将探讨如何构建一个RAG系统并使其完全由语音激活。 RAG(检索增强生成)是一种将外部知识用于额外上下文以馈入到大语言模型(LLM),从而提高模型准确性和相关性的技术。 这是一种比不断微调模型可靠得多的方法,可以改善生成式AI的结果。
2/24/2025 8:39:08 AM
布加迪
无需联网!DeepSeek-R1+本地化RAG,打造私有智能文档助手
1、写在前面官方开源的版本除了满血的 671b 外,还有 1.5b,7b,8b,14b,32b,70b 六个蒸馏后的尺寸,笔者使用 Ollama 在电脑本地部署了 7b 的模型,在终端中测试了虽然回答没有满血版的那么惊艳,但凑活能用。 作为一款高阶模型开源,确实要 salute 一下。 不过进一步的问题是,我们面对这样的强思维链模型,除了在官网间或 Chat 一下,如何进一步的将其变成工作或生活场景的生产力工具?
2/21/2025 3:56:42 PM
韦东东
DeepSeek开源模型重塑法证审计,个人本地做RAG+微调,25年多试试
全球82亿人口,网民55.6亿,而ChatGPT坐拥3.5亿全球月活,渗透率算下来也有6%左右了。 但这还是DeepSeek-R1开源之前的故事。 1/20 开源以来,DeepSeek-R1属实又硬拉高了一大波全球 AI的渗透率,或者换句话说,是解锁了更多的应用场景。
2/21/2025 2:37:21 PM
韦东东
“RAG界的DeepSeek”开源-企业复杂私域知识理解与推理框架PIKE-RAG
PIKE-RAG框架的设计目标是提供一个灵活且可扩展的RAG系统,应对工业应用中复杂多样的任务需求。 框架的核心是通过有效的知识提取、理解和组织,以及构建连贯的推理逻辑,解决了RAG系统在工业应用中的局限性。 下面来看下PIKE-RAG框架及其实现过程,供参考。
2/17/2025 3:00:00 AM
余俊晖
推荐一个企业级知识图谱增强的检索增强生成(RAG)的项目
介绍Microsoft GraphRAG 是一个开源项目,旨在利用 Microsoft Graph 的强大功能构建企业级的知识图谱增强的检索增强生成(RAG)方案。 简单来说,它将企业内部的各种数据源(如邮件、文档、日历、联系人等)通过 Microsoft Graph 连接起来,形成一个结构化的知识图谱,然后利用这个知识图谱来增强 RAG 系统的检索能力,从而提升大语言模型(LLM)在企业应用中的问答和生成效果。 项目架构GraphRAG 的架构设计清晰且模块化,主要包含以下几个核心组件:(1) 数据连接器(Data Connectors):负责从各种企业数据源(如 Microsoft 365 服务,包括 Exchange Online、SharePoint Online、OneDrive、Teams 等)提取数据。
2/13/2025 9:01:03 AM
IT运维技术圈
HtmlRAG:RAG系统中,HTML比纯文本效果更好
HtmlRAG 方法通过使用 HTML 而不是纯文本来增强 RAG 系统中的知识表示能力。 通过 HTML 清洗和两步块树修剪方法,在保持关键信息的同时缩短了 HTML 文档的长度。 这种方法优于现有基于纯文本的RAG的性能。
2/11/2025 8:50:14 AM
余俊晖
资讯热榜
标签云
AI
人工智能
OpenAI
AIGC
模型
ChatGPT
DeepSeek
谷歌
AI绘画
大模型
机器人
数据
Midjourney
开源
AI新词
Meta
微软
智能
用户
GPT
学习
技术
智能体
马斯克
Gemini
图像
Anthropic
英伟达
AI创作
训练
LLM
论文
代码
算法
AI for Science
Agent
苹果
芯片
Claude
腾讯
Stable Diffusion
蛋白质
开发者
生成式
神经网络
xAI
机器学习
3D
RAG
人形机器人
AI视频
研究
大语言模型
具身智能
生成
百度
Sora
工具
GPU
华为
计算
字节跳动
AI设计
大型语言模型
AGI
搜索
视频生成
场景
生成式AI
深度学习
架构
DeepMind
亚马逊
编程
特斯拉
视觉
Transformer
AI模型
预测
MCP