Skip to content

RAG 原理地图:系统、选型与失败分层 ​

01 白话 RAG 回答了“是什么”。这一篇回答三个工程问题:

  1. 一个 RAG 系统到底由哪些部分组成?
  2. 什么时候该用 RAG,什么时候该用微调、长上下文或工具调用?
  3. 答案错了,应该先查哪一层?

1、先划边界 ​

RAG 的核心承诺是:回答时有外部证据,并且证据可追溯。

它不承诺:

  • 文档里没有的知识;
  • 文档本身正确;
  • 实时变化的数据;
  • 需要精确计算或多步操作的任务;
  • 自动解决权限、合规和审计问题。

把这些边界写进产品说明,比在 Prompt 里写十遍“不要编造”更有用。因为很多“模型幻觉”其实是需求边界没定义清楚:用户问了一个知识库根本不覆盖的问题,系统却硬要回答。

2、两条链路,四类存储 ​

离线 · 文档进来准备可检索的资料
  1. 上传文档暂存原文件 · 创建异步任务
  2. 解析与切块解析 → 清洗 → 切分
  3. 向量化与索引向量 / 关键词 → 写索引
  4. 状态收敛校验处理结果
  5. 可检索文档就绪
持久化索引离线写入 ↓ 在线召回时读取
在线 · 问题进来根据证据组织回答
  1. 鉴权与理解检查权限 → 理解 / 改写
  2. 多路召回从索引取候选片段
  3. 融合与重排合并候选 → 排序
  4. 组装证据证据 → Prompt
  5. 生成与引用流式回答 → 引用 / 拒答
两条独立链路通过索引衔接,不是每次提问都重新处理文档。

一个容易忽视的事实:这条链路横跨四类存储,它们之间没有共同事务。

存储存什么典型实现失败后果
原文件存储PDF、Word、图片本地盘、对象存储无法重解析、引用打不开
业务数据库文档记录、状态、权限、消息PostgreSQL、MySQL状态不一致、越权
检索存储向量、关键词索引、块正文向量库、搜索引擎找不到或找到旧内容
任务队列/缓存异步任务、流事件Redis、进程内队列任务丢失、流中断

因此,“上传成功”“文档处理完成”“索引可查”“答案生成完成”是四个不同信号。任何把其中一个当成“全部完成”的设计,都会在故障时暴露。详见 08 全链路。

3、四种技术路线怎么选 ​

路线解决什么不解决什么典型成本
RAG注入外部、可更新、可引用的知识不会改变模型表达风格与推理习惯索引 + 每次检索与长上下文
微调固定格式、语气、领域表达、任务模式不可靠地记忆大量事实,难审计训练 + 数据标注 + 再训练
长上下文一次装入更多材料,减少切分损失成本、延迟、注意力稀释、权限与输入长度线性增长
工具/Agent实时查询、计算、执行操作不保证知识覆盖,链路更复杂工具开发 + 多步延迟

实践中的组合通常是:

  • 默认 RAG:知识问答、制度查询、文档助手;
  • RAG + 微调:既要有出处,又要固定输出结构或品牌语气;
  • RAG + 工具:既要文档,又要查库存、汇率、工单状态;
  • 长上下文作为补充:检索后装入更完整的章节,而不是替代检索。

一个判断口诀:知识会变、需要出处、要按权限过滤 → RAG;行为要变、格式要稳 → 微调;数据在系统里、要算要做 → 工具。

4、离线链路:每一步都在制造上限 ​

离线链路决定系统的召回上限。后面再好的重排和模型,也救不回没被正确解析和切分的证据。

4.1 上传与登记 ​

需要记录:文件内容哈希、原始文件名、所属知识库、租户、上传者、版本、解析配置。内容哈希用于去重和幂等;租户与 ACL 用于检索前过滤。

常见错误:只存文件不存业务记录;先写数据库再存文件导致记录指向不存在的文件;重复上传产生多份相同块。

4.2 解析 ​

目标不是“提取一堆字”,而是保留结构:标题层级、段落、列表、表格、页码、图片位置。

  • 有文本层的 PDF:直接抽取,但要注意双栏、页眉页脚、脚注;
  • 扫描件:必须 OCR,识别置信度低的区域要标记;
  • 表格:按行/列还原,不能拉平成一行;
  • Word/HTML:保留标题与列表语义;
  • 图片:单独走 OCR/图注/多模态描述。

解析产物最好是一份结构化中间表示(例如带类型的块序列 + 来源坐标),而不是纯文本。否则切分阶段无法知道“这是标题还是正文”。

4.3 切分 ​

切分是在“语义完整”和“检索精度”之间取舍:

  • 太大:一个块里混多个主题,向量被平均,检索不准;
  • 太小:缺少上下文,模型看不懂指代;
  • 切断表格/代码/问答对:证据残缺。

常见策略从简单到复杂:固定长度、递归分隔符、按标题结构、语义切分、父子块、上下文增强。详见 04 数据摄取。

4.4 向量化与索引 ​

嵌入模型把文本映射到向量空间。需要固定:模型、版本、维度、归一化方式、查询侧指令(如果模型要求)。换模型必须重建索引,不能混用。

索引侧还要决定:只做向量、只做关键词,还是混合;用 HNSW/IVF 哪种近邻结构;过滤字段怎么建;索引版本怎么切换。详见 05 向量化与索引。

4.5 状态收敛 ​

一份文档可能经历 pending → processing → indexing → finalizing → completed,也可能 failed、cancelled、deleting。还可能正文已可检索,但摘要、图片说明等增强任务仍在跑。

所以“文档状态”不是一个布尔值,而是一组维度:解析状态、启用状态、增强子任务计数、索引版本。设计不清会导致:文档永远卡在处理中、旧任务回写新版本、删除后仍能搜到。

5、在线链路:每一段都可观测 ​

text
问题
 → 鉴权与范围归一化(租户/知识库/文件/标签)
 → 查询理解(补全指代、识别意图、改写)
 → 多路召回(向量 / 关键词 / 标签 / 图谱)
 → 融合(RRF 或加权)
 → 重排(cross-encoder / LLM / 规则)
 → 证据合并(去重、父块还原、邻接扩展)
 → Top-k 截断
 → Prompt 组装(编号、边界声明、输出格式)
 → 流式生成
 → 引用校验与消息持久化

每个阶段都应记录:输入、输出、耗时、候选数量、过滤原因、版本。没有这些日志,线上只能看到“答错了”,无法定位。

6、失败分层:先定位,再改 ​

层典型症状先看什么常见修复
数据文档缺失、解析乱码、表格错位原文件、解析中间产物换解析器、人工校对、保留版面
切分答案被切断、块主题混杂命中块全文与相邻块调块大小、结构切分、父子块
召回正确块不在候选里Recall@k、各路召回结果混合检索、查询改写、换模型
融合/排序正确块在但排得靠后融合前后排名RRF、重排器、去重
上下文证据太多/太少、顺序差最终 Prompt控预算、重排、Lost-in-the-Middle
生成有证据仍答错、编造模型输入与输出提示词、拒答、结构化输出
引用引用不支持结论、编号错引用与证据映射引用协议、后校验
评估指标好看但线上差数据集分布、判定方式重建测试集、校准 judge
工程超时、重复、越权、卡状态任务日志、状态机、权限过滤幂等、重试、隔离、回滚

这张表的用法是:从症状往上游走,而不是从模型往下游猜。 例如“答案说没有相关规定”,先确认文档已启用、正文与索引可检索,正确块是否进候选,最后才怀疑模型;不应只看是否 completed。

7、数据契约再展开 ​

7.1 chunk ​

json
{
  "chunk_id": "doc_42:v3:c0017",
  "doc_id": "doc_42",
  "text": "一线城市住宿标准为每晚上限 600 元……",
  "heading_path": ["差旅管理", "住宿标准"],
  "page": 12,
  "start": 1840,
  "end": 1902,
  "version": 3,
  "acl": ["tenant:acme", "group:finance"],
  "content_hash": "sha256:..."
}

关键点:chunk_id 要能定位到文档和版本;start/end 要能回到原文;heading_path 要能补语义;acl 要能在检索前过滤。

7.2 hit ​

json
{
  "chunk_id": "doc_42:v3:c0017",
  "channel": "vector",
  "raw_score": 0.83,
  "rank": 2,
  "fused_score": 0.0164,
  "filtered": null
}

同一个块可能被多路召回。要保留每路的原始分和排名,否则无法解释融合结果。

7.3 evidence ​

证据不是“一堆文本”,而是带身份和位置的引用单元。生成阶段的编号([E1])必须能映射回 chunk_id,最终再映射成用户可点击的来源。

7.4 answer ​

除了文本,还要有:引用列表、是否拒答、拒答原因、使用的模型与参数、检索配置版本、run_id。否则无法复现和评估。

8、质量指标:四层各看各的 ​

层指标说明
检索Recall@k、MRR、nDCG@k正确证据是否进候选、排得是否靠前
上下文context precision / recall给模型的证据是否相关且完整
生成faithfulness、answer relevancy、引用覆盖率是否忠于证据、是否回答问题
系统拒答准确率、P95 延迟、失败率、成本线上可用性

不要用一个“准确率”概括全部。检索指标和生成指标要分开测,否则改了切分导致召回提升、生成下降,你会看不出净效果。

9、复杂度从哪里来 ​

同样是 RAG,一个内部 FAQ 和一个企业知识平台差几个数量级。复杂度主要来自六个维度:

  1. 文档类型:纯文本最简单,扫描 PDF、表格、图纸、音视频最难;
  2. 规模:几千块可以暴力扫描,上亿块必须 ANN 和分片;
  3. 更新频率:静态语料可以全量重建,频繁更新必须增量与删除;
  4. 多租户与权限:过滤必须在检索前,且不能泄露存在性;
  5. 实时性:是否需要流式、停止、续传、低延迟;
  6. 合规:是否需要审计、数据脱敏、地域隔离、保留期限。

选型时先回答这六个问题,再谈用哪个向量库。否则很容易为一个内部 FAQ 引入一套需要专职运维的分布式系统。

10、一个参考架构 ​

text
前端
 ├─ 上传队列(并发、重试、取消)
 └─ 问答界面(流式、引用、停止)
        │
API 网关(鉴权、限流、租户)
        │
 ├─ 文档服务:登记、状态机、权限
 ├─ 摄取 Worker:解析 → 切分 → 索引(可重试、幂等)
 ├─ 问答编排:查询理解 → 召回 → 融合 → 重排 → 证据
 ├─ 生成服务:Prompt、模型调用、流式、引用协议
 └─ 评估与观测:日志、指标、回放、测试集
        │
存储:对象存储 / 业务库 / 向量库 / 关键词索引 / 队列 / 缓存

小规模可以把 Worker 和 API 放一个进程;但接口边界要提前留好,否则以后拆不开。

11、五个常见反模式 ​

  1. 先上向量库,再想数据:解析和切分一塌糊涂,换库没用。
  2. 只做向量召回:专有名词、编号、错误码经常靠关键词才找得到。
  3. 把 top-k 当质量旋钮:加大 k 可能引入噪声、增加成本、触发 Lost-in-the-Middle。
  4. 没有拒答:所有问题都硬答,线上看起来“什么都会”,实际错误率不可控。
  5. 没有评估集:每次调参靠感觉,无法判断改动是提升还是回归。

12、下一步 ​

评论

正在加载评论…