高级文档处理与语义分块

高级文档分块：超越固定长度

在构建企业级 RAG 系统时，我们很快会发现，简单的固定长度分块方法远远不够。一份复杂的商业合同、一份包含图表的财务报告，或是一份多栏排版的法律文件，如果被强行切成等长的文本块，关键信息往往会被割裂。一个完整的逻辑、一个表格的上下文，或是一个关键条款的定义，可能会被分散到不同的分块中，导致检索结果不准确，最终影响大型语言模型（LLM）的回答质量。

分块策略是 RAG 中影响最大的单一决策。

挑战在于：如何在不破坏语义完整性的前提下，将文档分解为适合检索的、大小适中的单元？这正是高级分块策略要解决的核心问题。

语义分块的奥秘

语义分块（Semantic Chunking）是一种更为智能的方法。它不再依赖固定的字符数，而是试图理解文本的“意思”。其核心原理是利用来识别文本中的语义转折点。我们可以将文档中的每个句子或小段落转换成向量，然后计算相邻句子之间的余弦相似度。当相似度突然下降，就意味着话题可能发生了变化，这里便是一个理想的切分点。

通过这种方式，我们能确保每个分块都包含一个完整的逻辑单元，比如一个完整的段落、一条完整的定义或是一项完整的论证。这大大提高了检索的相关性，因为查询问题更有可能与一个完整的、自成一体的文本块匹配。

攻克复杂文档结构

企业的知识库中充斥着 PDF 文件，它们通常包含复杂的布局，如页眉页脚、多栏文本、表格和图表。如果直接提取文本，这些结构信息会丢失，导致内容混乱不堪。例如，一个表格的两列数据可能会被错误地拼接成一行毫无意义的文本。

为了解决这个问题，我们需要采用能够识别文档结构的分块策略。一种有效的方法是“递归字符分块”（Recursive Character Splitting）。这种方法会按照一个预设的分隔符列表（例如：["\n\n", "\n", ". ", " "]）来尝试分割文本。它首先尝试用段落分隔符 \n\n 来分割。如果分割后的块仍然太大，它会接着在这些大块内部，尝试用下一个分隔符（比如换行符 \n）来进一步分割，如此递归下去，直到所有分块都小于设定的尺寸阈值。

# 伪代码示例：递归字符分块
# 导入 LangChain 的文本分割器
from langchain.text_splitter import RecursiveCharacterTextSplitter

# 示例文本，包含不同结构
document_text = """
第一章：导论

这是第一段。它讨论了项目的背景。

第二章：方法论

本章将详细介绍我们使用的数据和模型。我们采用了递归分块策略。
"""

# 初始化分割器
text_splitter = RecursiveCharacterTextSplitter(
    # 按顺序尝试用这些分隔符进行分割
    separators=["\n\n", "\n", "。", "，", " "],
    chunk_size=100, # 每个分块的最大字符数
    chunk_overlap=20, # 分块间的重叠字符数
    length_function=len,
)

# 执行分割
chunks = text_splitter.split_text(document_text)

# 打印结果
for i, chunk in enumerate(chunks):
    print(f"--- 分块 {i+1} ---")
    print(chunk)

递归分块的优势在于它尽可能地尊重文本的自然结构。它优先在段落和句子层面进行分割，只有在万不得已时才会退回到按词或字符分割，这使得它在保持语义连贯性方面比固定长度分块要好得多。

定制化与元数据丰富

最先进的RAG系统不会采用单一的分块策略。它们会采用“自适应分块”（Adaptive Chunking）策略，即根据文档的类型和领域来定制分块方法。例如：

法律合同：可能会按条款（如 “第1.1条”，“第1.2条”）进行分割，以确保每个条款的完整性。
金融财报：需要专门的工具来解析表格，将整个表格或有意义的行/列组合作为一个分块，而不是将其当成普通文本处理。
代码库：可以按函数或类定义进行分块。

这要求我们在分块之前，首先对文档进行分析，识别其宏观结构。

除了智能分块，为每个分块丰富化（Metadata）也至关重要。元数据是描述数据的数据，对于RAG系统来说，它提供了宝贵的上下文信息。一个好的实践是为每个分块附加信息，例如：

源文件名 (file_name)
页码 (page_number)
章节标题 (section_title)
分块在该章节内的序号 (chunk_index)

在检索时，我们可以利用这些元数据进行过滤，或者将它们与分块内容一起呈现给LLM。例如，当LLM看到一个分块来自“风险披露”章节时，它就能更好地理解这个分块的上下文，从而生成更精准的回答。

一个精心设计的分块策略，结合丰富的元数据，是构建高性能、可扩展的企业级RAG系统的基石。

掌握了这些高级分块技术，你就可以开始构建一个能够真正理解和利用企业内部复杂文档的智能问答系统了。

RAG 企业级架构实战