AI在线 AI在线

切分优化

RAG系列：切分优化 - 基于句子余弦距离的语义切分

RAG系列：切分优化 - 基于句子余弦距离的语义切分
引言传统的文档切分方法通常采用基于特定字符和固定长度的切分策略，这种方法虽然实现简单，但在实际应用中容易割裂完整的语义单元，导致后续的信息检索与理解受到影响。 相比之下，一种更智能的切分方法是基于句子余弦距离的语义切分。 它不再依据特定字符和固定长度进行机械切分，而是对每个句子进行 embedding，以此来计算相邻句子的余弦距离，再通过算法算出一个相对合理的切分点（某个距离值），最后将不大于该阈值的相邻句子聚合在一起作为一个文档块，从而实现文档语义切分。
6/24/2025 9:51:10 AM
燃哥讲AI
RAG系列：切分优化 - 基于 Markdown 语法的文档切分

RAG系列：切分优化 - 基于 Markdown 语法的文档切分
引言在RAG系列：解析优化 - 不同文件类型统一转换成Markdown一文中我们介绍了将不同文件类型统一解析转换成 Markdown 文件的好处。 本文我们接着这篇文章解析转换后的 Markdown 文件，介绍下基于 Markdown 语法的文档切分方法。 关于指标在RAG系列：系统评估 - 五个主流评估指标详解一文中我们介绍了评估 RAG 系统的五个主流指标，从本文开始，我会根据不同优化阶段来选择要重点关注的指标，不必要每次都关注五个指标的表现，这样可以让我们的优化更聚焦，通过优化每个阶段的重点指标，从而逐步优化系统的各个环节。
6/10/2025 4:30:00 AM
燃哥讲AI
  • 1