AI在线 AI在线

分块

RAG分块优化之语义分块方法CrossFormer模型技术思路

笔者在前期文章中总结了RAG的分块《RAG常见13种分块策略大总结(一览表)》,本文介绍一个语义分段的工作,该工作解决的问题是文本语义分割,即将文档分割成多个具有连续语义的段落。 传统方法通常依赖于预处理文档以分段来解决输入长度限制问题,但这会导致段间关键语义信息的丢失。 RAG系统中的文本分块方法主要分为基于规则和基于LLM的方法。
4/2/2025 4:00:00 AM
余俊晖
  • 1