AI在线 AI在线

分块

系统梳理 RAG 系统的 21 种分块策略

系统梳理 RAG 系统的 21 种分块策略
检索增强生成（RAG）是许多 AI 工程师又爱又恨的技术（包括我）。 没错，因为从理论上看，它简单极了：“从你的定制数据中检索正确的上下文，然后让大语言模型基于此生成回答”。 但在实践中，你不得不面对海量杂乱无章的数据 —— 这些数据以你见过的最混乱随机的格式存储，接着就是数日绞尽脑汁的试错：调整文本块（tweaking chunks）切换嵌入模型（switching embedding models）替换检索器（swapping out retrievers）微调排序器（fine-tuning rankers）重写提示词（rewriting prompts）而模型依然回复：“我找不到足够的信息来回答你的问题”。
9/3/2025 4:00:45 AM
Baihai IDP
RAG 中的语义分块：实现更优的上下文检索

RAG 中的语义分块：实现更优的上下文检索
检索增强生成（RAG）技术异军突起，席卷了整个大语言模型领域。 通过将大语言模型（LLMs）的强大能力与外部知识检索相结合，RAG使得模型能够生成准确且有依据的回复，即便在专业领域也不例外。 在每一个表现卓越的RAG流程背后，都有一个默默发挥关键作用的 “英雄”：分块技术，尤其是语义分块。
5/7/2025 8:35:11 AM
大模型之路
RAG分块优化之语义分块方法CrossFormer模型技术思路

RAG分块优化之语义分块方法CrossFormer模型技术思路
笔者在前期文章中总结了RAG的分块《RAG常见13种分块策略大总结（一览表）》，本文介绍一个语义分段的工作，该工作解决的问题是文本语义分割，即将文档分割成多个具有连续语义的段落。 传统方法通常依赖于预处理文档以分段来解决输入长度限制问题，但这会导致段间关键语义信息的丢失。 RAG系统中的文本分块方法主要分为基于规则和基于LLM的方法。
4/2/2025 4:00:00 AM
余俊晖
  • 1