检索与重排:从候选到证据
检索层要解决的不是“找一段相似的话”,而是“把回答这个问题所需的证据放进候选集,并排到模型看得见的位置”。
图解:召回、融合、重排怎么做
召回各找一批,融合合成一份,重排再读原文、重新排序。 试着切换图中的“关键词路”,看看候选和分数怎样变化。
查看 A / B / C 的原文
A 住宿报销需提交发票,由主管审批。
B 出差住宿报销上限为每晚 600 元。
C 交通费按实际票价报销。
- A报销手续0.86
- B住宿上限 600 元0.83
- B住宿上限 600 元12.3
- C交通费标准8.1
入库时先建好索引;提问时搜索。两路分数尺度不同,不能直接相加。
[A, B] + [B, C]B 只留一份,合成 3 条- 1B住宿上限 600 元0.0325
- 2A报销手续0.0164
- 3C交通费标准0.0161
B = 1/(60+2) + 1/(60+1)按块 ID 去重,各路名次换成分数再相加;不是重新读原文,也不是判断真假。
- ① 分词、拼接问题 token + 分隔符 + 原文 token
- ② 联合编码Transformer 注意力让问题词与原文词相互关联不是各算一个向量再比距离
- ③ 评分层联合表示 → 学到的权重变换 → 一个相关性分数部分模型还会做 sigmoid 等分数变换
上面是本例的结果解释,不是“含金额就加分”的固定规则;模型也可能排错。
- 1B住宿上限 600 元0.95
- 2A报销手续0.18
- 3C交通费标准0.08
每条候选都配对打分,再排序;不是沿用融合分。未召回的块,重排找不回来。
“召回”是找候选的步骤;“召回率”是有没有漏掉相关块的指标,见 Recall@20。
1、查询理解:先把问题变成可检索的查询
用户的问题往往不适合直接检索:
- “那住宿呢?”缺少主语,需要结合上一轮补全;
- “报销流程和审批人是谁?”包含两个子问题;
- “为什么我的单子被拒了?”可能需要查状态系统,而不是文档;
- 口语化表达与文档用词不一致。
常见处理:
| 方法 | 做法 | 适用 | 风险 |
|---|---|---|---|
| 指代补全 | 用历史对话把问题改写成独立句 | 多轮问答 | 改写错误会放大 |
| 查询改写 | 同义扩展、术语标准化 | 口语/缩写多 | 引入噪声 |
| 多查询 | 生成 2–4 个不同表述,分别召回 | 召回不足 | 成本与延迟上升 |
| 查询拆分 | 把复合问题拆成子问题 | 多意图 | 合并答案复杂 |
HyDE | 先让模型写一个假设答案,再用它检索 | 短查询、领域术语 | 假设错误会污染检索 |
| 意图识别 | 判断是知识问答、闲聊还是操作 | 路由 | 误判导致走错链路 |
工程要点:
- 改写失败要回退到原问题,不能丢用户输入;
- 改写结果要记录,便于复现;
- 多查询要有数量上限和超时;
- 不要对纯闲聊也走知识检索。
2、三路召回
2.1 稠密召回
把查询和块都编码成向量,按相似度取近邻。优点是同义改写、语义匹配强;缺点是专有名词、编号、罕见词容易失手。
2.2 稀疏/关键词召回
倒排索引 = 词 → 包含这个词的块 ID。 例如“住宿”指向 [A, B],提问时查这些词,再用 BM25 打分取前几条,不必生成稠密向量。
| 擅长 | 容易漏 | 打分依据 |
|---|---|---|
| 错误码、型号、人名、条款号 | 同义改写、跨语言 | 词频、词的稀有程度、块长度 |
中文分词和领域词典要维护;BM25 不是简单数关键词次数,词重复越多,额外收益会递减。
2.3 metadata / 标签召回
按知识库、文档类型、标签、时间范围直接过滤或召回。它不负责“语义相关”,但能大幅缩小范围,并保证权限与时效。
2.4 混合检索与融合
混合检索是同时走多条召回路;融合是把这些路的结果,按块 ID 去重并合成一份排名。
例如图中:向量路 [A, B],关键词路 [B, C],融合后 B 只出现一次,但会累计两路的排名贡献。采用等权 RRF 后得到 [B, A, C]。
向量找“意思像”,关键词找“字面准”;两者互补。融合不是核实内容真假,也不是把两路原始分数直接相加。
3、分数为什么不能直接相加
三种常见分数:
- 余弦相似度:通常在
[-1, 1]或[0, 1]; - 点积:范围无界,取决于向量长度;
BM25:范围无界,随语料和查询变化,可能 0–30,也可能更大。
直接把 0.8 的余弦和 12.3 的 BM25 相加,关键词分数会完全主导。即使都归一化到 [0,1],不同查询的分布也不同,阈值不可复用。
可选方案:
| 方案 | 做法 | 问题 |
|---|---|---|
| 分数归一化后加权 | min-max / z-score / 除以最大值 | 分布随查询变化,极端值敏感 |
| 只按排名融合 | RRF | 丢失分数强弱信息 |
| 学习排序 | 用标注数据训练融合模型 | 需要数据与维护 |
| 分别阈值后合并 | 各路独立过滤 | 阈值难统一 |
大多数系统从 RRF 起步,简单、稳定、无需训练。
4、RRF:按排名融合
Reciprocal Rank Fusion 的公式:
RRF(d) = Σ_i weight_i / (k + rank_i(d))rank_i(d):文档d在第i路结果中的排名,从 1 开始;k:平滑常数,常用60;weight_i:各路权重。
k 的作用是压低“第一名”的相对优势,让多路都靠前的文档更占优。k 越小,头部排名影响越大;k 越大,融合越平滑。
4.1 一个例子
假设查询同时走向量和关键词两路,k=60:
| 文档 | 向量排名 | 关键词排名 | RRF |
|---|---|---|---|
| A | 1 | 5 | 1/61 + 1/65 ≈ 0.0318 |
| B | 3 | 1 | 1/63 + 1/61 ≈ 0.0323 |
| C | 2 | 未命中 | 1/62 ≈ 0.0161 |
B 虽然在向量路只排第 3,但两路都在前 5,融合后超过 A。这正是 RRF 想要的:多路共识优先于单路第一。
4.2 加权与归一化
如果向量路更可信,可以给更高权重:
RRF(d) = (w_v / (k + rank_v) + w_k / (k + rank_k))
/ ((w_v + w_k) / (k + 1))除以理论最大值 (w_v + w_k)/(k+1),把结果缩放到 [0,1],便于和阈值、其他分数比较。注意:归一化不改变排序,只改变尺度。
4.3 实现细节
- 每一路独立排名,不能按并发返回顺序拼接;
- 某路没命中就是“缺席”,不要虚构排名;
- 同一文档在多路出现时,取各路的实际排名;
- 同分要有稳定
tie-break(如chunk_id),否则结果不可复现; - 融合前可先按业务规则去重(同文档同位置)。
5、重排:把“相关”变成“该看”
重排就是对已召回的候选重新打分、重新排序,常见做法是用比初步召回更精细、也更昂贵的模型。召回追求“不漏”,重排追求“排准”。
5.1 Cross-encoder
把“查询 + 候选块”一起送入模型,直接输出相关性分数。它能看到查询和文档的交互,通常有机会比独立编码后比较向量更准确;但每个查询与候选的组合都要参与模型计算,可批量执行,计算成本通常随候选数增加。它一般是专门训练的相关性打分模型,不一定是生成式大模型。
常见做法:召回 50–100 条,重排到 5–10 条。
5.2 ColBERT 后期交互
文档侧预计算 token 级向量,查询时做 MaxSim 交互。精度接近 cross-encoder,文档侧可以离线索引,但存储开销大(每块多个向量)。
5.3 LLM 重排
让大模型给候选打分或排序。灵活、可解释,但延迟和成本高,且分数不稳定。适合候选少、质量要求高的场景,不适合大规模在线。
5.4 综合分与规则
真实系统往往不是“模型分最高就赢”,而是综合:
final = w1 * rerank_score + w2 * recall_score + w3 * source_weight再加上:
- 时效性加权(新版本优先);
- 来源权重(权威文档优先);
- 业务规则(常见问题置顶);
- 多样性(
MMR,避免同一段内容占满结果)。
这些权重是产品决策,不是通用公式。要用评估集验证,避免“人工权重制造高置信”。
5.5 阈值与回退
- 重排后低于阈值 → 可以返回空,触发拒答;
- 重排服务失败 → 回退到召回结果,并记录降级;
- 模型未配置 → 不阻断主流程;
- 重排成功但结果为空 → 这是真正的“无相关证据”,不要伪装成服务错误。
6、证据合并:候选不是最终上下文
召回/重排后的块,通常还要处理:
- 去重:同一文档多版本、重复段落、父子块重叠;
- 父块还原:命中子块后取父块,补足上下文;
- 邻接扩展:取前后相邻块,避免句子被切断;
- 同来源合并:连续或重叠的片段合并成一段;
- FAQ 还原:命中问题后带回完整答案;
- 再次去重:合并后可能又产生重复;
- 排序与截断:按最终分数取
top-k。
注意:
- 表格行文本相似不代表可以随便去重,可能每行都是独立数据;
- 编辑后的内容长度相同,不代表坐标仍然可信;
- 引用应指向实际命中的子块,而不是父块开头;
- 合并后要重新计算字符/token 预算。
7、上下文顺序:不要忽略“中间”
研究(如 Lost in the Middle)发现,长上下文中间位置的信息更容易被模型忽略。实践建议:
- 最相关的证据放在开头;
- 次相关但必要的放结尾;
- 不要为了“看起来完整”塞入大量低分块;
- 证据数量与顺序都要用评估集验证;
- 给每条证据编号和来源,降低模型混淆。
8、top-k 怎么定
k 不是越大越好:
k 太小 | k 太大 |
|---|---|
| 漏掉正确证据 | 引入噪声、成本上升 |
| 对召回质量要求极高 | 触发中间遗忘 |
| 回答可能过于简略 | 引用冲突、答案发散 |
常见配置:
- 召回候选:30–100;
- 重排后:5–10;
- 最终证据:3–8,按 token 预算调整。
用评估集画“k vs 答案质量/成本”的曲线,而不是拍一个数。
9、诊断:看漏斗,不看单点
为每次查询记录:
{
"query": "出差住宿能报多少",
"rewritten": "出差住宿标准是多少",
"channels": {
"vector": [{"chunk_id": "c17", "rank": 1, "score": 0.83}],
"keyword": [{"chunk_id": "c42", "rank": 2, "score": 11.2}]
},
"fused": [{"chunk_id": "c17", "rank": 1, "score": 0.032}],
"reranked": [{"chunk_id": "c17", "rank": 1, "score": 0.91}],
"filtered": [{"chunk_id": "c99", "reason": "acl"}],
"final": ["c17", "c42"]
}有了这份日志,才能回答:
- 正确块有没有被召回?
- 是在融合时掉的,还是重排时掉的?
- 是被权限过滤了,还是低于阈值?
- 最终
Prompt里到底放了什么?
没有日志,只能反复“换个模型试试”。
10、常见故障
| 症状 | 可能原因 | 修复 |
|---|---|---|
| 专有名词搜不到 | 只做向量召回 | 加 BM25/关键词 |
| 同义问题搜不到 | 只做关键词 | 加向量召回 |
| 正确块排第 20 | 只取 top-3 | 扩大候选 + 重排 |
| 结果全是同一段 | 多版本/重复块 | 去重、版本过滤 |
| 融合后关键词结果霸榜 | 分数直接相加 | 改用 RRF 或归一化 |
| 重排后反而变差 | 重排器与语料不匹配 | 用评估集选型、保留回退 |
| 回答缺少上下文 | 块太小 | 父块/邻接扩展 |
| 越权结果出现 | 检索后过滤 | 前置过滤 + 测试 |
11、检查清单
- 有查询改写,且失败时回退原问题;
- 至少两路召回(向量 + 关键词),或说明为什么不需要;
- 融合使用
RRF/归一化,不直接加原始分; - 每路独立排名,有稳定
tie-break; - 重排有候选上限、超时和失败回退;
- 去重、父块还原、邻接扩展有测试;
top-k经过评估,不是拍脑袋;- 记录了召回/融合/重排/过滤的漏斗日志;
- 权限过滤在检索阶段生效。
12、一句话总结
召回找候选,融合把多路候选去重、合成一份排名,重排再读问题与原文、重新排序。 分开检查三层,才能知道证据在哪里丢了;融合分和重排分都不是事实可信度。
下一步:07 生成与引用,看证据如何变成有出处、敢拒答的答案。
评论
正在加载评论…