近日，Meta 的人工智能研究团队与爱丁堡大学合作，开发了一种新技术，能够预测大型语言模型（LLM）推理的正确性，并在发现错误时进行修复。这种名为电路基础推理验证(CRV)的方法，旨在深入观察 LLM 的内部 “推理电路”，以便在模型解决问题时检测出计算错误的迹象。
研究表明，CRV 可以通过构建并观察模型内部激活的计算图，以高准确率检测到 LLM 的推理错误。这一突破性的发现意味着研究人员可以利用深层次的内部信息，对模型的错误推理进行针对性的干预。
链式思维推理（CoT）作为一种提升 LLM 在复杂任务上表现的方法，已经被广泛应用，但它的可靠性依然存在问题。现有的验证方法主要分为两类:“黑箱” 方法通过分析最终生成的 token 或置信度分数来验证;“灰箱” 方法则试图观察模型的内部状态，然而这些方法并不能解释计算失败的根本原因。
CRV 采用了一种 “白箱” 验证方法，认为模型在执行任务时会使用专门的神经元子图。通过替换标准的稠密层为训练过的 “转码器”，研究人员使目标 LLM 变得可解释，从而可以观察到其内部工作原理。接着，CRV 会构建一个 “归因图”，映射信息在模型各个部分之间的因果流动，并提取出描述图特性的 “结构指纹”。最终，训练一个 “诊断分类器” 来预测推理步骤是否正确。
研究团队在 Llama3.1模型上进行了实验，结果表明，CRV 在各种数据集和指标上均优于其他验证方法，展现了其强大的有效性。同时，研究发现，不同推理任务中的错误签名具有领域特异性，这意味着不同类型的推理依赖于不同的内部电路。
最重要的是，CRV 不仅仅是相关性分析，它提供了一种透明的计算视图，使得预测的失败可以追溯到特定组件，研究人员因此可以通过抑制错误特征，实时修正模型的推理路径。
划重点:
🌟 CRV 技术能有效预测并修复 LLM 的推理错误，提高 AI 的可靠性。
🧠 研究采用了 “白箱” 验证方法，揭示了 LLM 的内部推理电路。
🔧 CRV 的成功应用为未来 AI 模型调试工具的开发奠定了基础。
