高级 RAG:哪些模式值得引入
“高级 RAG”不是一个更高的版本号,而是一组针对特定失败模式的补丁。
引入之前先问三个问题:
- 基础链路(解析、切分、混合召回、重排、引用)是否已经做好?
- 当前失败属于哪一类:召回不到、排序不准、需要多跳、需要全局总结、还是问题本身不该走
RAG? - 这个模式增加多少延迟、成本、维护复杂度?有没有评估集证明它值得?
大多数团队的问题在基础层,不在“缺一个 Agent”。
1、先修基础,再上高级
| 现象 | 优先修 | 而不是 |
|---|---|---|
| 专有名词搜不到 | 加关键词召回 | 换更大的嵌入模型 |
| 同义问题搜不到 | 加向量召回/改写 | 上 GraphRAG |
| 正确块排第 20 | 扩大候选 + 重排 | 上 Self-RAG |
| 答案缺上下文 | 父块/邻接扩展 | 上长上下文模型 |
| 多跳问题答不全 | 查询拆分 + 多轮检索 | 直接上 Agent |
| 全局总结类问题差 | 分层摘要/RAPTOR | 无限加大 top-k |
基础层的投入产出比通常最高。高级模式是“在基础已经稳定后,针对剩余误差做定向优化”。
2、查询侧增强
2.1 HyDE
做法:让模型先写一个“假设答案”,再把假设答案向量化去检索。
问题:出差住宿超标怎么办?
假设答案:需要填写超额审批单,由直属主管和部门负责人审批……
→ 用假设答案检索,而不是用短问题检索适用:问题很短、口语化、与文档表述差异大。
风险:
- 假设答案可能事实错误,把检索带偏;
- 多一次模型调用,延迟上升;
- 对精确匹配类问题(错误码、编号)通常无益。
实践:把 HyDE 作为并行的一路召回,与原问题结果融合,而不是完全替代。这样假设错误时还有兜底。
2.2 多查询(Multi-Query)
让模型生成 2–4 个不同表述,分别检索后融合。
原问题:酒店能报多少
改写 1:住宿费报销标准
改写 2:出差住宿上限
改写 3:hotel reimbursement limit适用:召回不足、用户用词与文档不一致、跨语言。
注意:
- 查询数量有上限,避免成本线性膨胀;
- 每一路独立排名后再
RRF融合; - 改写结果要记录,便于诊断;
- 不要生成语义重复的查询(收益低、成本高)。
2.3 查询拆分(Decomposition)
复合问题拆成子问题:
“出差住宿超标需要谁审批,报销时限是多久?”
→ 子问题 1:住宿超标审批人
→ 子问题 2:报销提交时限每个子问题独立检索,再合并证据生成答案。
风险:拆分错误、子问题遗漏、合并时答案结构混乱。适合问题类型明确、可用规则或小模型识别的场景。
2.4 Step-back 提问
先问一个更抽象的问题,获取背景,再回答具体问题。
具体:E1024 报错怎么处理?
后退:这类系统错误的一般处理流程是什么?适用:具体问题缺少背景、文档只给了原则没有案例。它和 HyDE 的区别是:Step-back 扩展问题空间,HyDE 扩展答案空间。
2.5 查询路由
不是所有问题都该走向量检索:
| 问题类型 | 路由 |
|---|---|
| 知识问答 | RAG |
| 闲聊 | 直接对话 |
| 数据统计 | SQL/API 工具 |
| 操作指令 | 工具调用 + 鉴权 |
| 实时信息 | 搜索/外部 API |
| 文档总结 | 分层摘要,不是 top-k 检索 |
路由错误比检索错误更难发现:用户问“上个月报销总额”,走向量检索只会返回制度条款。路由要可观测、可回退。
3、索引侧增强
3.1 RAPTOR
做法:对块做递归聚类和摘要,形成一棵树:
叶子:原始块
中间层:簇摘要
根:全文摘要检索时同时查多个层级,既能看到细节,也能拿到全局概括。
适用:需要“整体讲了什么”“跨章节总结”的问题。
成本:
- 建索引时要多次调用模型做摘要;
- 文档更新要重建受影响子树;
- 摘要可能丢失细节或引入偏差。
3.2 GraphRAG
做法:抽取实体和关系,构建知识图谱,再做社区检测与社区摘要。
两种查询:
- 局部搜索:围绕某个实体找邻居和原文;
- 全局搜索:用社区摘要回答“整体主题/趋势”类问题。
适用:
- 多跳关系问题(A 的负责人属于哪个部门,该部门负责哪些项目);
- 全局总结;
- 实体关系密集的领域(法务、医疗、供应链)。
成本与风险:
- 抽取质量决定上限,实体消歧很难;
- 建索引成本高、增量更新复杂;
- 图谱与原文可能不一致;
- 不适合“找一段话”的简单问题。
LightRAG 是更轻量的图 + 向量混合方案,索引成本低于完整 GraphRAG,但同样需要评估是否真的解决了你的问题。
3.3 元数据增强
给块补充:
- 标题路径;
- 文档类型、部门、生效日期;
- 实体标签;
- 摘要;
- 问答对(FAQ)。
元数据既能用于过滤,也能拼进块文本提升检索。成本低、收益稳定,通常比图上得早。
3.4 上下文增强切分
Contextual Retrieval(为每个块生成上下文说明再嵌入)和 Late Chunking(先编码全文再切分池化)已经在 04 数据摄取 讲过。它们的共同点是:让块在嵌入时带上全局信息,而不是孤立地被编码。
4、迭代式检索
4.1 Self-RAG
模型在生成过程中决定:
- 是否需要检索;
- 检索结果是否相关;
- 答案是否有证据支持;
- 答案是否有用。
它通常需要专门训练的模型和反思标记(reflection tokens),不是简单加个 Prompt 就能复现。
工程上可以借鉴其思想:在生成前后加“是否需要检索/证据是否足够”的判断,用普通模型 + 规则实现简化版。
4.2 CRAG(Corrective RAG)
做法:
检索 → 评估检索质量
├─ 高质量:直接生成
├─ 低质量:扩展检索(如换查询、加外部搜索)
└─ 无法判断:拒答或请求澄清核心是检索评估器。它可以是一个小模型、一个分类器,或规则(分数阈值、关键词覆盖)。
风险:评估器误判会把好证据丢掉,或把坏证据放进来。要用评估集单独测评估器。
4.3 FLARE
先让模型生成,遇到低置信度时主动触发检索,再继续生成。适合长文生成、需要多段证据的任务。实现复杂,在线延迟不稳定。
4.4 Agentic RAG
把检索当成工具,由 Agent 规划多步:
问题 → 规划 → 检索 → 观察 → 再检索/换工具 → 综合 → 回答适用:
- 多跳、需要比较多个来源;
- 需要调用
API/数据库; - 问题开放、路径不固定。
代价:
- 延迟和成本高且不可预测;
- 错误会累积;
- 难以调试和评估;
- 需要严格的工具鉴权和步数上限。
不要用 Agent 解决“召回不准”。 先用更好的检索,再考虑多步。
5、多模态
5.1 文档里的图、表、扫描件
三条路线:
| 路线 | 做法 | 优点 | 缺点 |
|---|---|---|---|
| 解析成文本 | OCR + 表格结构化 | 可检索、可引用 | 复杂版式易丢结构 |
| 图转文字 | 多模态模型生成描述 | 保留语义 | 描述可能失真、成本高 |
| 视觉检索 | ColPali 类模型直接编码页面图像 | 免解析、保留版式 | 存储大、模型重、文本检索弱 |
ColPali 用视觉语言模型把整页图像编码成多向量,查询时做后期交互。它绕过了 OCR 和版面解析,对复杂 PDF 很有效,但每页要存很多向量,索引体积和成本明显上升。
5.2 混合策略
实践中常见:
- 文本块走向量 + 关键词;
- 表格单独结构化,按行/列生成可检索文本;
- 图片生成描述并保留原图引用;
- 关键页面用视觉模型兜底。
引用要能定位到页码/图号,而不只是“某文档”。
6、长上下文 vs RAG
长上下文模型让“把所有文档塞进去”看起来可行。实际要比较:
| 维度 | 长上下文 | RAG |
|---|---|---|
| 小语料(几十页) | 简单直接 | 也能做,但多一层工程 |
| 大语料(百万级) | 装不下、成本高 | 必需 |
| 单次成本 | 随输入线性增长 | 只带相关证据 |
| 延迟 | 输入越长越慢 | 相对稳定 |
| 精度 | 中间内容易被忽略 | 依赖检索质量 |
| 更新 | 每次重建上下文 | 增量更新索引 |
| 引用 | 需自行定位 | 天然带块级来源 |
| 权限 | 输入模型前过滤授权材料 | 检索时按块/文档过滤,生成前再校验 |
结论通常是混合:
- 用
RAG缩小范围; - 把高相关证据 + 必要的全局摘要放进长上下文;
- 对“总结整份文档”这类任务,直接给全文可能更好;
- 对“在 10 万份文档里找一条规定”,
RAG仍是唯一可行方案。
7、记忆与个性化
- 会话记忆:最近 N 轮 + 摘要,不要无限追加;
- 用户偏好:语言、格式、角色,作为系统提示的一部分;
- 长期记忆:用户历史结论、常用文档,需要权限和过期策略;
- 反馈记忆:点踩的问题进入待修正队列,而不是直接改索引。
记忆会引入隐私和一致性问题。要明确:存什么、存多久、谁能看、如何删除。
8、决策表
| 模式 | 解决的问题 | 额外成本 | 引入建议 |
|---|---|---|---|
| 查询改写 | 指代、口语化 | 低 | 早做 |
| 多查询 | 召回不足 | 中 | 召回指标低时 |
HyDE | 短查询/术语差异 | 中 | 作为并行一路 |
| 查询拆分 | 多意图 | 中 | 问题类型明确时 |
| 元数据增强 | 过滤、可解释 | 低 | 早做 |
RAPTOR | 全局总结 | 高(建索引) | 总结类需求明确时 |
GraphRAG | 多跳关系 | 很高 | 关系型领域 + 有评估 |
Self-RAG | 何时检索 | 高(需训练) | 研究/特定场景 |
CRAG | 检索质量差 | 中 | 有可靠评估器时 |
Agentic RAG | 开放式多步 | 很高 | 其他手段不够时 |
| 多模态检索 | 扫描件/图表 | 高 | 文档以图为主时 |
| 长上下文 | 小语料/整篇总结 | 每次查询高 | 与 RAG 混合 |
9、引入顺序
一个务实的顺序:
1. 混合召回 + RRF
2. 重排
3. 查询改写
4. 元数据与过滤
5. 父块/邻接扩展
6. 多查询 / HyDE(并行融合)
7. 分层摘要(RAPTOR)
8. 图检索(确有需要)
9. Agentic(最后)每一步都要有评估集证明收益。没有评估的“高级化”,只是把系统变得更难维护。
10、常见误区
- 用
Agent掩盖检索问题:多步调用只是把错误放大; - 把
GraphRAG当默认方案:大多数问答不需要图; - 无限加大
top-k:噪声和成本一起涨; - 同时上线多个高级模式:无法归因,出问题无法回滚;
- 忽略建索引成本:
RAPTOR/GraphRAG的索引可能比查询贵得多; - 假设长上下文能替代检索:大语料、权限、引用都绕不过去;
- 用
LLMjudge 证明高级模式有效:judge 本身要先校准。
11、检查清单
- 基础链路指标已稳定,知道剩余误差在哪一层;
- 每个高级模式都有明确的失败模式对应;
- 有离线评估证明收益大于成本;
- 延迟和费用在预算内;
- 新链路可开关、可回滚;
- 索引侧增强有增量更新方案;
Agent有步数上限、工具鉴权和超时;- 多模态方案能定位到页码/图号;
- 长上下文与
RAG的取舍有数据支撑。
12、一句话总结
高级 RAG 的价值不在于“用了新方法”,而在于用可度量的方式补上一个具体的短板。先定位误差,再选工具;不要反过来。
下一步:12 排障手册,把“答案不对”拆成可验证的假设。
评论
正在加载评论…