RAG 原理地图:系统、选型与失败分层
01 白话 RAG 回答了“是什么”。这一篇回答三个工程问题:
- 一个
RAG系统到底由哪些部分组成? - 什么时候该用
RAG,什么时候该用微调、长上下文或工具调用? - 答案错了,应该先查哪一层?
1、先划边界
RAG 的核心承诺是:回答时有外部证据,并且证据可追溯。
它不承诺:
- 文档里没有的知识;
- 文档本身正确;
- 实时变化的数据;
- 需要精确计算或多步操作的任务;
- 自动解决权限、合规和审计问题。
把这些边界写进产品说明,比在 Prompt 里写十遍“不要编造”更有用。因为很多“模型幻觉”其实是需求边界没定义清楚:用户问了一个知识库根本不覆盖的问题,系统却硬要回答。
2、两条链路,四类存储
- 上传文档暂存原文件 · 创建异步任务
- 解析与切块解析 → 清洗 → 切分
- 向量化与索引向量 / 关键词 → 写索引
- 状态收敛校验处理结果
- 可检索文档就绪
- 鉴权与理解检查权限 → 理解 / 改写
- 多路召回从索引取候选片段
- 融合与重排合并候选 → 排序
- 组装证据证据 → Prompt
- 生成与引用流式回答 → 引用 / 拒答
一个容易忽视的事实:这条链路横跨四类存储,它们之间没有共同事务。
| 存储 | 存什么 | 典型实现 | 失败后果 |
|---|---|---|---|
| 原文件存储 | PDF、Word、图片 | 本地盘、对象存储 | 无法重解析、引用打不开 |
| 业务数据库 | 文档记录、状态、权限、消息 | PostgreSQL、MySQL | 状态不一致、越权 |
| 检索存储 | 向量、关键词索引、块正文 | 向量库、搜索引擎 | 找不到或找到旧内容 |
| 任务队列/缓存 | 异步任务、流事件 | Redis、进程内队列 | 任务丢失、流中断 |
因此,“上传成功”“文档处理完成”“索引可查”“答案生成完成”是四个不同信号。任何把其中一个当成“全部完成”的设计,都会在故障时暴露。详见 08 全链路。
3、四种技术路线怎么选
| 路线 | 解决什么 | 不解决什么 | 典型成本 |
|---|---|---|---|
RAG | 注入外部、可更新、可引用的知识 | 不会改变模型表达风格与推理习惯 | 索引 + 每次检索与长上下文 |
| 微调 | 固定格式、语气、领域表达、任务模式 | 不可靠地记忆大量事实,难审计 | 训练 + 数据标注 + 再训练 |
| 长上下文 | 一次装入更多材料,减少切分损失 | 成本、延迟、注意力稀释、权限 | 与输入长度线性增长 |
| 工具/Agent | 实时查询、计算、执行操作 | 不保证知识覆盖,链路更复杂 | 工具开发 + 多步延迟 |
实践中的组合通常是:
- 默认
RAG:知识问答、制度查询、文档助手; RAG+ 微调:既要有出处,又要固定输出结构或品牌语气;RAG+ 工具:既要文档,又要查库存、汇率、工单状态;- 长上下文作为补充:检索后装入更完整的章节,而不是替代检索。
一个判断口诀:知识会变、需要出处、要按权限过滤 → RAG;行为要变、格式要稳 → 微调;数据在系统里、要算要做 → 工具。
4、离线链路:每一步都在制造上限
离线链路决定系统的召回上限。后面再好的重排和模型,也救不回没被正确解析和切分的证据。
4.1 上传与登记
需要记录:文件内容哈希、原始文件名、所属知识库、租户、上传者、版本、解析配置。内容哈希用于去重和幂等;租户与 ACL 用于检索前过滤。
常见错误:只存文件不存业务记录;先写数据库再存文件导致记录指向不存在的文件;重复上传产生多份相同块。
4.2 解析
目标不是“提取一堆字”,而是保留结构:标题层级、段落、列表、表格、页码、图片位置。
- 有文本层的
PDF:直接抽取,但要注意双栏、页眉页脚、脚注; - 扫描件:必须
OCR,识别置信度低的区域要标记; - 表格:按行/列还原,不能拉平成一行;
Word/HTML:保留标题与列表语义;- 图片:单独走
OCR/图注/多模态描述。
解析产物最好是一份结构化中间表示(例如带类型的块序列 + 来源坐标),而不是纯文本。否则切分阶段无法知道“这是标题还是正文”。
4.3 切分
切分是在“语义完整”和“检索精度”之间取舍:
- 太大:一个块里混多个主题,向量被平均,检索不准;
- 太小:缺少上下文,模型看不懂指代;
- 切断表格/代码/问答对:证据残缺。
常见策略从简单到复杂:固定长度、递归分隔符、按标题结构、语义切分、父子块、上下文增强。详见 04 数据摄取。
4.4 向量化与索引
嵌入模型把文本映射到向量空间。需要固定:模型、版本、维度、归一化方式、查询侧指令(如果模型要求)。换模型必须重建索引,不能混用。
索引侧还要决定:只做向量、只做关键词,还是混合;用 HNSW/IVF 哪种近邻结构;过滤字段怎么建;索引版本怎么切换。详见 05 向量化与索引。
4.5 状态收敛
一份文档可能经历 pending → processing → indexing → finalizing → completed,也可能 failed、cancelled、deleting。还可能正文已可检索,但摘要、图片说明等增强任务仍在跑。
所以“文档状态”不是一个布尔值,而是一组维度:解析状态、启用状态、增强子任务计数、索引版本。设计不清会导致:文档永远卡在处理中、旧任务回写新版本、删除后仍能搜到。
5、在线链路:每一段都可观测
问题
→ 鉴权与范围归一化(租户/知识库/文件/标签)
→ 查询理解(补全指代、识别意图、改写)
→ 多路召回(向量 / 关键词 / 标签 / 图谱)
→ 融合(RRF 或加权)
→ 重排(cross-encoder / LLM / 规则)
→ 证据合并(去重、父块还原、邻接扩展)
→ Top-k 截断
→ Prompt 组装(编号、边界声明、输出格式)
→ 流式生成
→ 引用校验与消息持久化每个阶段都应记录:输入、输出、耗时、候选数量、过滤原因、版本。没有这些日志,线上只能看到“答错了”,无法定位。
6、失败分层:先定位,再改
| 层 | 典型症状 | 先看什么 | 常见修复 |
|---|---|---|---|
| 数据 | 文档缺失、解析乱码、表格错位 | 原文件、解析中间产物 | 换解析器、人工校对、保留版面 |
| 切分 | 答案被切断、块主题混杂 | 命中块全文与相邻块 | 调块大小、结构切分、父子块 |
| 召回 | 正确块不在候选里 | Recall@k、各路召回结果 | 混合检索、查询改写、换模型 |
| 融合/排序 | 正确块在但排得靠后 | 融合前后排名 | RRF、重排器、去重 |
| 上下文 | 证据太多/太少、顺序差 | 最终 Prompt | 控预算、重排、Lost-in-the-Middle |
| 生成 | 有证据仍答错、编造 | 模型输入与输出 | 提示词、拒答、结构化输出 |
| 引用 | 引用不支持结论、编号错 | 引用与证据映射 | 引用协议、后校验 |
| 评估 | 指标好看但线上差 | 数据集分布、判定方式 | 重建测试集、校准 judge |
| 工程 | 超时、重复、越权、卡状态 | 任务日志、状态机、权限过滤 | 幂等、重试、隔离、回滚 |
这张表的用法是:从症状往上游走,而不是从模型往下游猜。 例如“答案说没有相关规定”,先确认文档已启用、正文与索引可检索,正确块是否进候选,最后才怀疑模型;不应只看是否 completed。
7、数据契约再展开
7.1 chunk
{
"chunk_id": "doc_42:v3:c0017",
"doc_id": "doc_42",
"text": "一线城市住宿标准为每晚上限 600 元……",
"heading_path": ["差旅管理", "住宿标准"],
"page": 12,
"start": 1840,
"end": 1902,
"version": 3,
"acl": ["tenant:acme", "group:finance"],
"content_hash": "sha256:..."
}关键点:chunk_id 要能定位到文档和版本;start/end 要能回到原文;heading_path 要能补语义;acl 要能在检索前过滤。
7.2 hit
{
"chunk_id": "doc_42:v3:c0017",
"channel": "vector",
"raw_score": 0.83,
"rank": 2,
"fused_score": 0.0164,
"filtered": null
}同一个块可能被多路召回。要保留每路的原始分和排名,否则无法解释融合结果。
7.3 evidence
证据不是“一堆文本”,而是带身份和位置的引用单元。生成阶段的编号([E1])必须能映射回 chunk_id,最终再映射成用户可点击的来源。
7.4 answer
除了文本,还要有:引用列表、是否拒答、拒答原因、使用的模型与参数、检索配置版本、run_id。否则无法复现和评估。
8、质量指标:四层各看各的
| 层 | 指标 | 说明 |
|---|---|---|
| 检索 | Recall@k、MRR、nDCG@k | 正确证据是否进候选、排得是否靠前 |
| 上下文 | context precision / recall | 给模型的证据是否相关且完整 |
| 生成 | faithfulness、answer relevancy、引用覆盖率 | 是否忠于证据、是否回答问题 |
| 系统 | 拒答准确率、P95 延迟、失败率、成本 | 线上可用性 |
不要用一个“准确率”概括全部。检索指标和生成指标要分开测,否则改了切分导致召回提升、生成下降,你会看不出净效果。
9、复杂度从哪里来
同样是 RAG,一个内部 FAQ 和一个企业知识平台差几个数量级。复杂度主要来自六个维度:
- 文档类型:纯文本最简单,扫描
PDF、表格、图纸、音视频最难; - 规模:几千块可以暴力扫描,上亿块必须
ANN和分片; - 更新频率:静态语料可以全量重建,频繁更新必须增量与删除;
- 多租户与权限:过滤必须在检索前,且不能泄露存在性;
- 实时性:是否需要流式、停止、续传、低延迟;
- 合规:是否需要审计、数据脱敏、地域隔离、保留期限。
选型时先回答这六个问题,再谈用哪个向量库。否则很容易为一个内部 FAQ 引入一套需要专职运维的分布式系统。
10、一个参考架构
前端
├─ 上传队列(并发、重试、取消)
└─ 问答界面(流式、引用、停止)
│
API 网关(鉴权、限流、租户)
│
├─ 文档服务:登记、状态机、权限
├─ 摄取 Worker:解析 → 切分 → 索引(可重试、幂等)
├─ 问答编排:查询理解 → 召回 → 融合 → 重排 → 证据
├─ 生成服务:Prompt、模型调用、流式、引用协议
└─ 评估与观测:日志、指标、回放、测试集
│
存储:对象存储 / 业务库 / 向量库 / 关键词索引 / 队列 / 缓存小规模可以把 Worker 和 API 放一个进程;但接口边界要提前留好,否则以后拆不开。
11、五个常见反模式
- 先上向量库,再想数据:解析和切分一塌糊涂,换库没用。
- 只做向量召回:专有名词、编号、错误码经常靠关键词才找得到。
- 把
top-k当质量旋钮:加大k可能引入噪声、增加成本、触发 Lost-in-the-Middle。 - 没有拒答:所有问题都硬答,线上看起来“什么都会”,实际错误率不可控。
- 没有评估集:每次调参靠感觉,无法判断改动是提升还是回归。
12、下一步
- 想先跑起来:03 最小实现。
- 想深入文档处理:04 数据摄取。
- 想看真实系统如何组织这些层:08 文档上传到问答全链路。
- 想知道怎么证明系统变好了:09 评估。
评论
正在加载评论…