在构建检索增强生成系统时，许多团队容易陷入一个误区：将大量精力投入到模型选型和提示词优化上，却忽视了检索层和文本分块策略的调优。实际生产环境中的故障统计显示，RAG 系统的大多数问题并非来自生成模型的幻觉，而是源于检索质量不足和分块策略失当。本文将从工程化角度出发，系统阐述从零构建生产级 RAG 系统时需要关注的核心决策点。

分块策略的参数化选择

分块（Chunking）是 RAG 管道中最具影响力的超参数之一，它直接决定了向量数据库中存储的语义单元是否能够完整覆盖用户的查询意图。传统的固定长度分块方法虽然实现简单，但在面对跨段落的长程依赖或结构化文档时往往表现不佳。工程实践表明，分块大小与重叠量的选择应当根据具体业务场景进行参数化调优。

对于典型的知识库问答场景，建议初始分块大小设置在 300 至 500 个 tokens 区间，重叠量控制在 50 至 100 个 tokens。这一配置能够在保持语义完整性的同时，确保重要信息不会因分界切割而丢失。当处理法律、政策等长文档时，可将分块大小扩大至 500 至 800 个 tokens，并将重叠量提升至 100 至 150 个 tokens，以保留跨条款的上下文关联。而对于技术文档或代码片段，由于其语义密度高、上下文敏感，建议采用更小的分块尺寸（150 至 300 个 tokens）和较低的重叠量（50 至 80 个 tokens）。

值得强调的是，分块策略应当作为第一等公民进行优化，而非在系统搭建完成后才考虑的 afterthought。推荐的做法是在数据预处理阶段部署多种分块器进行并行实验，包括递归字符分块器（RecursiveCharacterTextSplitter）、语义聚类分块器（ClusterSemanticChunker）以及结构感知分块器，然后通过 token 级别的召回率指标进行量化评估，最终选取表现最佳的策略投入生产。

检索评估指标体系

构建可靠的检索评估体系是保障 RAG 系统质量的关键环节。许多团队仅关注最终的生成效果，却忽略了检索链路本身的指标监控，导致问题定位困难。生产级系统应当建立多层次的评估指标框架，涵盖召回、精度、延迟和用户体验四个维度。

在召回层面，核心指标是 Recall@K 和 Token-Level IoU。Recall@K 衡量前 K 个检索结果中包含正确答案的比例，这一指标直接反映了系统「找得到」的能力。Token-Level IoU 则进一步细粒度地评估检索到的文本片段与真实答案之间的词级重叠程度，能够捕获传统文档级评估无法发现的部分匹配问题。在精度层面，Precision@Token 和去重率用于衡量「找得准」的能力，避免无关文档稀释上下文的有效性。延迟指标包括检索时延、生成时延和端到端响应时间，建议为每个阶段设置独立的告警阈值。用户体验指标则包括引用准确率（模型生成的答案是否能够溯源到检索结果）和用户满意度评分。

评估数据集的构建同样不可忽视。应当基于真实用户查询构建领域相关的评估集，并保持数据的新鲜度。实践中发现，使用合成查询补充长尾场景能够显著提升评估的全面性。建议采用 A/B 测试框架持续监控各项指标的变化，在系统迭代过程中及时发现回归问题。

生产部署的核心教训

将 RAG 系统部署到生产环境时，团队通常会遭遇若干典型挑战。首要关注点是数据质量和管道可靠性。原始文档中的脏数据、重复内容和格式不一致会直接污染向量索引，导致检索结果质量下降。应当在数据 ingestion 阶段引入严格的输入验证、Schema 校验和自动化数据清洗流程，确保进入向量数据库的每一份文档都符合预期标准。

模块化 Pipeline 设计是应对生产复杂性的有效策略。将系统划分为查询处理、分块、检索、重排序、上下文组装、生成和验证等独立阶段，使得每个模块可以独立迭代和替换。混合检索架构（结合稠密向量与稀疏索引）能够在语义匹配和精确匹配之间取得平衡，显著提升检索的鲁棒性。重排序（Reranking）阶段使用轻量级模型对初检结果进行二次评分，能够有效提升 top-k 结果的相关性。

成本控制是生产部署中常被低估的维度。大分块和高召回策略虽然能够提升效果，但会带来显著的 token 消耗和延迟增加。建议实施成本感知的检索预算机制，对热门查询实施结果缓存，同时考虑使用分层摘要策略降低长文档的上下文开销。监控体系应当覆盖每个阶段的资源消耗和性能指标，建立异常告警和自动降级机制。

关键参数速查清单

分块策略方面，知识库 FAQ 场景推荐 300-500 tokens 分块、50-100 tokens 重叠；法律政策文档推荐 500-800 tokens 分块、100-150 tokens 重叠；技术文档推荐 150-300 tokens 分块、50-80 tokens 重叠。检索评估方面，建议监控 Recall@K（K 取 3 或 5）、Token-Level IoU、端到端延迟（目标低于 2 秒）以及引用准确率（目标高于 90%）。生产监控方面，建议为检索时延、生成时延、向量索引 freshness 和 token 消耗速率设置独立仪表盘和告警规则。

从零构建 RAG 系统的核心思路是将检索质量置于模型选择之上，通过数据驱动的分块策略调优和系统化的评估监控循环，逐步构建可靠的生产级系统。

资料来源

  • W&B RAG Course: Building a RAG system
  • Chroma Research: Evaluating Chunking Strategies for Retrieval
  • LinkedIn: Why Most RAG Systems Fail in Production (And How to Fix Them)