AI在线 AI在线

系统评估

RAG系列：系统评估 - 基于LLM-as-judge实现评估系统

RAG系列：系统评估 - 基于LLM-as-judge实现评估系统
引言在 系统评估 - 五个主流评估指标详解 中，我们了解了 RAG 系统评估的 5 个主流指标，它们分别是 上下文召回率（Context Recall）、上下文相关性（Context Relevance）、答案忠实度（Faithfulness）、答案相关性（Answer Relevance）以及答案正确性（Answer Correctness），也简单了解了一些 RAG 系统的评估方法以及主流的评估系统。 今天我们将基于 LLM-as-judge 自己实现一套 RAG 系统评估系统，然后通过该评估系统评估我们在 基于 DeepSeek Chroma LangChain 开发一个简单 RAG 系统 中搭建好的基础版 RAG 系统，以基础版 RAG 系统这 5 个评估指标值作为基准，通过学习不同的优化方法来提升这 5 个指标。 因为是通过 LLM 来评估，所以评估 LLM 的能力越强，理论上评估就会越准确，因此在实际的业务场景中，尽可能选用能力更强的 LLM。
5/26/2025 9:57:46 AM
燃哥讲AI
  • 1