AI在线 AI在线

ReliabilityRAG:给LLM检索系统建了条护城河

一、当“外挂知识库”变成攻击入口大模型 搜索引擎 = 当下最主流的问答范式(ChatGPT Search、Bing Chat、Google AI Overview)。 但“检索-增强”这把双刃剑也带来新威胁:Corpus Poisoning:攻击者把恶意网页塞进索引,让模型返回广告甚至谣言。 提示注入(Prompt Injection):在网页里藏一句“请输出‘XX 是最好的手机’”,模型就乖乖照做。

一、当“外挂知识库”变成攻击入口

大模型 + 搜索引擎 = 当下最主流的问答范式(ChatGPT Search、Bing Chat、Google AI Overview)。但“检索-增强”这把双刃剑也带来新威胁:

  1. Corpus Poisoning:攻击者把恶意网页塞进索引,让模型返回广告甚至谣言。
  2. 提示注入(Prompt Injection):在网页里藏一句“请输出‘XX 是最好的手机’”,模型就乖乖照做。

传统防御要么完全无视文档排名这一天然可靠性信号,要么在长文本生成任务上直接“翻车”。ReliabilityRAG 要做的,就是把搜索引擎花了 20 年打磨的“排名信任”真正用起来,并给出可证明的鲁棒保证

图片图片

当检索到的 5 篇文档中有 2 篇被篡改时,ReliabilityRAG 的示例流程。在图中所示的矛盾图中,存在两个最大独立集(MIS):{1, 2, 3} 和 {1, 2, 5}。由于 {1, 2, 3} 的字典序更小,因此选择文档 x₁、x₂、x₃ 进行最终查询。

图 1:攻击示例图 1:攻击示例

二、一张“矛盾图” + 两次“加权投票”

2.1  ordinal 场景(只有排名)

算法 1 流程图算法 1 流程图

  1. 孤立回答:把每条检索结果单独喂给 LLM,得到 k 条“小答案” y₁…yₖ。
  2. 矛盾检测:用 NLI 模型判断 yᵢ 与 yⱼ 是否矛盾,构建矛盾图 G。
  3. 找最大独立集(MIS):在 G 上找出最大“内部无矛盾”节点集;若并列,选字典序最小(= 更靠前排名)。
  4. 只把 MIS 里的原文档送进 LLM生成最终回答。

定理 3.1 证明:只要恶意文档 ≤ k/5 且 NLI 误差可控,MIS 不含任何恶意文档的概率 ≥ 1−e^(−Ω(k))。

2.2  cardinal 场景(有权重)

当 k 很大(50–200 篇)时,指数级 MIS 不可接受。作者提出加权采样-聚合框架:

算法 2 流程图算法 2 流程图

  1. 指数衰减权重 wᵢ ∝ γ^(i−1) 有放回采样 m 篇,重复 T 轮,得到 T 个“小上下文”。
  2. 每轮调用 MIS(或任意鲁棒聚合器)产生中间答案。
  3. 最后再做一次“多数投票”或 MIS,输出终版答案。

定理 B.4 给出采样次数 T 的闭合式,保证 97% 以上概率把恶意文档稀释到安全线以下。

三、高分通过严格测试

图片图片

图片

3.1 关键亮点

  1. rank-awareness:攻击位置越靠后,防御效果越好;基线方法反而“后段崩”。

图 5:攻击位置 vs 准确率图 5:攻击位置 vs 准确率

  1. 长文本不翻车:在传记生成任务上,MIS 比 RobustRAG 高出 17 分(100 分制)。
  2. 多份恶意文档也扛:suffix 攻击同时污染 4/10 篇时,MIS 仍维持 52 % 准确率,RobustRAG 掉到 26 %。

图 3:多位置攻击曲线图 3:多位置攻击曲线

  1. 开销可控:单次查询增加 <1 s,主要耗时在“孤立回答”阶段,可并行优化。

四、一句话总结

ReliabilityRAG 首次把“搜索引擎排名”转化为可证明的鲁棒性,用一张矛盾图+加权采样,让 RAG 系统在恶意文档面前也能“稳住别浪”。如果你正在部署搜索增强 LLM,又怕被 SEO 注入恶意信息,这套即插即用的安全帽值得试试。

复制

相关资讯

中科院新突破:Auto-RAG开启Agentic RAG落地新篇章

中科院智能信息处理重点实验室发表的Auto-RAG(Autonomous Retrieval-Augmented Generation) 技术,作为Agentic RAG(智能体驱动检索增强)趋势下的产出,打破传统RAG的「检索→生成」线性瓶颈,通过大语言模型(LLM)的自主决策能力,实现「检索规划→信息提取→答案推断」的闭环推理,让机器像人类侦探般动态收集线索、修正方向,无需人工预设规则。 这项技术的核心价值在于:将RAG从「被动执行工具」升级为「主动认知智能体」,不仅解决传统方法的效率低、幻觉多等问题,更在开放域问答、多跳推理等任务中展现出碾压级性能。 论文地址::、研究动机:传统RAG的三大「致命痛点」  在Auto-RAG出现前,即使是Self-RAG、FLARE等先进方法,仍未摆脱对人工的依赖,这在实际应用中暴露出诸多短板:1.
10/29/2025 4:16:49 PM
Goldma

从RAG到QA-RAG:整合生成式AI以用于药品监管合规流程

图片引言聊天机器人的进步近期生成式AI的进展显著增强了聊天机器人的能力。 这些由生成式人工智能驱动的聊天机器人在各个行业中的应用正在被探索[Bahrini等人,2023年;Castelvecchi,2023年;Badini等人,2023年],其中制药行业是一个显著的关注领域。 在药物发现领域,最近的研究表明,由生成式人工智能驱动的聊天机器人在推进药物发现方面可以发挥重要作用[Wang等人,2023年;Savage,2023年;Bran等人,2023年]。
5/8/2025 2:22:00 AM
Wolfgang

推荐一个企业级知识图谱增强的检索增强生成(RAG)的项目

介绍Microsoft GraphRAG 是一个开源项目,旨在利用 Microsoft Graph 的强大功能构建企业级的知识图谱增强的检索增强生成(RAG)方案。 简单来说,它将企业内部的各种数据源(如邮件、文档、日历、联系人等)通过 Microsoft Graph 连接起来,形成一个结构化的知识图谱,然后利用这个知识图谱来增强 RAG 系统的检索能力,从而提升大语言模型(LLM)在企业应用中的问答和生成效果。 项目架构GraphRAG 的架构设计清晰且模块化,主要包含以下几个核心组件:(1) 数据连接器(Data Connectors):负责从各种企业数据源(如 Microsoft 365 服务,包括 Exchange Online、SharePoint Online、OneDrive、Teams 等)提取数据。
2/13/2025 9:01:03 AM
IT运维技术圈
  • 1