Skip to content

检索与重排:从候选到证据 ​

检索层要解决的不是“找一段相似的话”,而是“把回答这个问题所需的证据放进候选集,并排到模型看得见的位置”。

图解:召回、融合、重排怎么做 ​

召回各找一批,融合合成一份,重排再读原文、重新排序。 试着切换图中的“关键词路”,看看候选和分数怎样变化。

问题:住宿能报多少?以下分数均为示意,不是正确概率
查看 A / B / C 的原文

A 住宿报销需提交发票,由主管审批。

B 出差住宿报销上限为每晚 600 元。

C 交通费按实际票价报销。

01召回:各找一批候选
向量路 · 比意思问题 → 向量 → 搜索向量索引
  1. A报销手续0.86
  2. B住宿上限 600 元0.83
关键词路 · 比用词问题 → 分词 → 倒排索引 / BM25
  1. B住宿上限 600 元12.3
  2. C交通费标准8.1

入库时先建好索引;提问时搜索。两路分数尺度不同,不能直接相加。

02融合:多份名单 → 一份名单
[A, B] + [B, C]B 只留一份,合成 3 条
  1. 1B住宿上限 600 元0.0325
  2. 2A报销手续0.0164
  3. 3C交通费标准0.0161
RRF 按名次计分:B = 1/(60+2) + 1/(60+1)

按块 ID 去重,各路名次换成分数再相加;不是重新读原文,也不是判断真假。

03重排:问题 + 每条原文 → 新分数
配对 A问:住宿能报多少?文:住宿报销需提交发票,由主管审批。
配对 B问:住宿能报多少?文:出差住宿报销上限为每晚 600 元。
  1. ① 分词、拼接问题 token + 分隔符 + 原文 token
  2. ② 联合编码Transformer 注意力让问题词与原文词相互关联不是各算一个向量再比距离
  3. ③ 评分层联合表示 → 学到的权重变换 → 一个相关性分数部分模型还会做 sigmoid 等分数变换
打分能力从哪来?训练示例:(问题,相关段落)应高分;(问题,不相关段落)应低分 → 调整模型权重。
A 只讲手续 → 示例分 0.18B 给出金额 → 示例分 0.95

上面是本例的结果解释,不是“含金额就加分”的固定规则;模型也可能排错。

  1. 1B住宿上限 600 元0.95
  2. 2A报销手续0.18
  3. 3C交通费标准0.08

每条候选都配对打分,再排序;不是沿用融合分。未召回的块,重排找不回来。

选 B 作证据 → 生成模型回答“每晚最高 600 元”,引用 B
检索是这一整套找资料的过程。融合看“各路排名”,重排看“问题与原文”。

“召回”是找候选的步骤;“召回率”是有没有漏掉相关块的指标,见 Recall@20。

1、查询理解:先把问题变成可检索的查询 ​

用户的问题往往不适合直接检索:

  • “那住宿呢?”缺少主语,需要结合上一轮补全;
  • “报销流程和审批人是谁?”包含两个子问题;
  • “为什么我的单子被拒了?”可能需要查状态系统,而不是文档;
  • 口语化表达与文档用词不一致。

常见处理:

方法做法适用风险
指代补全用历史对话把问题改写成独立句多轮问答改写错误会放大
查询改写同义扩展、术语标准化口语/缩写多引入噪声
多查询生成 2–4 个不同表述,分别召回召回不足成本与延迟上升
查询拆分把复合问题拆成子问题多意图合并答案复杂
HyDE先让模型写一个假设答案,再用它检索短查询、领域术语假设错误会污染检索
意图识别判断是知识问答、闲聊还是操作路由误判导致走错链路

工程要点:

  • 改写失败要回退到原问题,不能丢用户输入;
  • 改写结果要记录,便于复现;
  • 多查询要有数量上限和超时;
  • 不要对纯闲聊也走知识检索。

2、三路召回 ​

2.1 稠密召回 ​

把查询和块都编码成向量,按相似度取近邻。优点是同义改写、语义匹配强;缺点是专有名词、编号、罕见词容易失手。

2.2 稀疏/关键词召回 ​

倒排索引 = 词 → 包含这个词的块 ID。 例如“住宿”指向 [A, B],提问时查这些词,再用 BM25 打分取前几条,不必生成稠密向量。

擅长容易漏打分依据
错误码、型号、人名、条款号同义改写、跨语言词频、词的稀有程度、块长度

中文分词和领域词典要维护;BM25 不是简单数关键词次数,词重复越多,额外收益会递减。

2.3 metadata / 标签召回 ​

按知识库、文档类型、标签、时间范围直接过滤或召回。它不负责“语义相关”,但能大幅缩小范围,并保证权限与时效。

2.4 混合检索与融合 ​

混合检索是同时走多条召回路;融合是把这些路的结果,按块 ID 去重并合成一份排名。

例如图中:向量路 [A, B],关键词路 [B, C],融合后 B 只出现一次,但会累计两路的排名贡献。采用等权 RRF 后得到 [B, A, C]。

向量找“意思像”,关键词找“字面准”;两者互补。融合不是核实内容真假,也不是把两路原始分数直接相加。

3、分数为什么不能直接相加 ​

三种常见分数:

  • 余弦相似度:通常在 [-1, 1] 或 [0, 1];
  • 点积:范围无界,取决于向量长度;
  • BM25:范围无界,随语料和查询变化,可能 0–30,也可能更大。

直接把 0.8 的余弦和 12.3 的 BM25 相加,关键词分数会完全主导。即使都归一化到 [0,1],不同查询的分布也不同,阈值不可复用。

可选方案:

方案做法问题
分数归一化后加权min-max / z-score / 除以最大值分布随查询变化,极端值敏感
只按排名融合RRF丢失分数强弱信息
学习排序用标注数据训练融合模型需要数据与维护
分别阈值后合并各路独立过滤阈值难统一

大多数系统从 RRF 起步,简单、稳定、无需训练。

4、RRF:按排名融合 ​

Reciprocal Rank Fusion 的公式:

text
RRF(d) = Σ_i  weight_i / (k + rank_i(d))
  • rank_i(d):文档 d 在第 i 路结果中的排名,从 1 开始;
  • k:平滑常数,常用 60;
  • weight_i:各路权重。

k 的作用是压低“第一名”的相对优势,让多路都靠前的文档更占优。k 越小,头部排名影响越大;k 越大,融合越平滑。

4.1 一个例子 ​

假设查询同时走向量和关键词两路,k=60:

文档向量排名关键词排名RRF
A151/61 + 1/65 ≈ 0.0318
B311/63 + 1/61 ≈ 0.0323
C2未命中1/62 ≈ 0.0161

B 虽然在向量路只排第 3,但两路都在前 5,融合后超过 A。这正是 RRF 想要的:多路共识优先于单路第一。

4.2 加权与归一化 ​

如果向量路更可信,可以给更高权重:

text
RRF(d) = (w_v / (k + rank_v) + w_k / (k + rank_k))
         / ((w_v + w_k) / (k + 1))

除以理论最大值 (w_v + w_k)/(k+1),把结果缩放到 [0,1],便于和阈值、其他分数比较。注意:归一化不改变排序,只改变尺度。

4.3 实现细节 ​

  • 每一路独立排名,不能按并发返回顺序拼接;
  • 某路没命中就是“缺席”,不要虚构排名;
  • 同一文档在多路出现时,取各路的实际排名;
  • 同分要有稳定 tie-break(如 chunk_id),否则结果不可复现;
  • 融合前可先按业务规则去重(同文档同位置)。

5、重排:把“相关”变成“该看” ​

重排就是对已召回的候选重新打分、重新排序,常见做法是用比初步召回更精细、也更昂贵的模型。召回追求“不漏”,重排追求“排准”。

5.1 Cross-encoder ​

把“查询 + 候选块”一起送入模型,直接输出相关性分数。它能看到查询和文档的交互,通常有机会比独立编码后比较向量更准确;但每个查询与候选的组合都要参与模型计算,可批量执行,计算成本通常随候选数增加。它一般是专门训练的相关性打分模型,不一定是生成式大模型。

常见做法:召回 50–100 条,重排到 5–10 条。

5.2 ColBERT 后期交互 ​

文档侧预计算 token 级向量,查询时做 MaxSim 交互。精度接近 cross-encoder,文档侧可以离线索引,但存储开销大(每块多个向量)。

5.3 LLM 重排 ​

让大模型给候选打分或排序。灵活、可解释,但延迟和成本高,且分数不稳定。适合候选少、质量要求高的场景,不适合大规模在线。

5.4 综合分与规则 ​

真实系统往往不是“模型分最高就赢”,而是综合:

text
final = w1 * rerank_score + w2 * recall_score + w3 * source_weight

再加上:

  • 时效性加权(新版本优先);
  • 来源权重(权威文档优先);
  • 业务规则(常见问题置顶);
  • 多样性(MMR,避免同一段内容占满结果)。

这些权重是产品决策,不是通用公式。要用评估集验证,避免“人工权重制造高置信”。

5.5 阈值与回退 ​

  • 重排后低于阈值 → 可以返回空,触发拒答;
  • 重排服务失败 → 回退到召回结果,并记录降级;
  • 模型未配置 → 不阻断主流程;
  • 重排成功但结果为空 → 这是真正的“无相关证据”,不要伪装成服务错误。

6、证据合并:候选不是最终上下文 ​

召回/重排后的块,通常还要处理:

  1. 去重:同一文档多版本、重复段落、父子块重叠;
  2. 父块还原:命中子块后取父块,补足上下文;
  3. 邻接扩展:取前后相邻块,避免句子被切断;
  4. 同来源合并:连续或重叠的片段合并成一段;
  5. FAQ 还原:命中问题后带回完整答案;
  6. 再次去重:合并后可能又产生重复;
  7. 排序与截断:按最终分数取 top-k。

注意:

  • 表格行文本相似不代表可以随便去重,可能每行都是独立数据;
  • 编辑后的内容长度相同,不代表坐标仍然可信;
  • 引用应指向实际命中的子块,而不是父块开头;
  • 合并后要重新计算字符/token 预算。

7、上下文顺序:不要忽略“中间” ​

研究(如 Lost in the Middle)发现,长上下文中间位置的信息更容易被模型忽略。实践建议:

  • 最相关的证据放在开头;
  • 次相关但必要的放结尾;
  • 不要为了“看起来完整”塞入大量低分块;
  • 证据数量与顺序都要用评估集验证;
  • 给每条证据编号和来源,降低模型混淆。

8、top-k 怎么定 ​

k 不是越大越好:

k 太小k 太大
漏掉正确证据引入噪声、成本上升
对召回质量要求极高触发中间遗忘
回答可能过于简略引用冲突、答案发散

常见配置:

  • 召回候选:30–100;
  • 重排后:5–10;
  • 最终证据:3–8,按 token 预算调整。

用评估集画“k vs 答案质量/成本”的曲线,而不是拍一个数。

9、诊断:看漏斗,不看单点 ​

为每次查询记录:

json
{
  "query": "出差住宿能报多少",
  "rewritten": "出差住宿标准是多少",
  "channels": {
    "vector": [{"chunk_id": "c17", "rank": 1, "score": 0.83}],
    "keyword": [{"chunk_id": "c42", "rank": 2, "score": 11.2}]
  },
  "fused": [{"chunk_id": "c17", "rank": 1, "score": 0.032}],
  "reranked": [{"chunk_id": "c17", "rank": 1, "score": 0.91}],
  "filtered": [{"chunk_id": "c99", "reason": "acl"}],
  "final": ["c17", "c42"]
}

有了这份日志,才能回答:

  • 正确块有没有被召回?
  • 是在融合时掉的,还是重排时掉的?
  • 是被权限过滤了,还是低于阈值?
  • 最终 Prompt 里到底放了什么?

没有日志,只能反复“换个模型试试”。

10、常见故障 ​

症状可能原因修复
专有名词搜不到只做向量召回加 BM25/关键词
同义问题搜不到只做关键词加向量召回
正确块排第 20只取 top-3扩大候选 + 重排
结果全是同一段多版本/重复块去重、版本过滤
融合后关键词结果霸榜分数直接相加改用 RRF 或归一化
重排后反而变差重排器与语料不匹配用评估集选型、保留回退
回答缺少上下文块太小父块/邻接扩展
越权结果出现检索后过滤前置过滤 + 测试

11、检查清单 ​

  • 有查询改写,且失败时回退原问题;
  • 至少两路召回(向量 + 关键词),或说明为什么不需要;
  • 融合使用 RRF/归一化,不直接加原始分;
  • 每路独立排名,有稳定 tie-break;
  • 重排有候选上限、超时和失败回退;
  • 去重、父块还原、邻接扩展有测试;
  • top-k 经过评估,不是拍脑袋;
  • 记录了召回/融合/重排/过滤的漏斗日志;
  • 权限过滤在检索阶段生效。

12、一句话总结 ​

召回找候选,融合把多路候选去重、合成一份排名,重排再读问题与原文、重新排序。 分开检查三层,才能知道证据在哪里丢了;融合分和重排分都不是事实可信度。

下一步:07 生成与引用,看证据如何变成有出处、敢拒答的答案。

评论

正在加载评论…