AI在线 AI在线

语义分块

告别机械切割:语义分块如何让文本理解更智能?基于sentence-transformers

传统的文本分块机制就像用尺子切割布料 —— 不管布料的花纹如何,只按固定长度下刀。 这种 "一刀切" 的方式常常导致语义割裂:明明是一个完整的论点,却被硬生生拆成两半;本该分开的两个主题,反而被塞进同一个块里。 而语义分块的核心思路是:让意思相近的内容 "抱团"。
7/24/2025 4:00:00 AM
Goldma
  • 1