Skip to content

评估:证明 RAG 真的变好了 ​

RAG 的难点之一是可观测性差:答案看起来通顺,不代表正确;引用存在,不代表支持结论;离线指标涨了,线上用户未必满意。

评估的目的不是得到一个漂亮分数,而是回答三个问题:

  1. 改这个配置,是提升还是回归?
  2. 错误出在数据、检索、排序还是生成?
  3. 线上表现和离线评估是否一致?

1、为什么 RAG 评估比普通分类难 ​

  • 多阶段:解析、切分、召回、融合、重排、生成,任何一层都能导致最终错误;
  • 非确定:同一问题,模型可能给出不同表述;
  • 答案开放:没有唯一字符串,不能只用精确匹配;
  • 证据依赖:答案对,可能引用了错来源;答案错,可能证据其实是对的;
  • 分布漂移:文档更新、模型升级、用户提问变化都会让旧测试集失效。

所以要用分层指标 + 固定数据集 + 人工校准,而不是一个“准确率”。

2、评估对象分层 ​

层评什么主要指标
解析文字、结构、表格、定位是否正确抽样准确率、结构保留率、定位成功率
切分块是否语义完整、可回到原文人工抽查、边界命中率
检索正确证据是否进候选Recall@k、MRR、nDCG@k
上下文给模型的证据是否相关且完整context precision / recall
生成是否忠于证据、是否回答问题faithfulness、answer relevancy
引用引用是否支持结论citation coverage、citation support
系统延迟、失败、成本、拒答P95、错误率、拒答率、单次成本

检索指标和生成指标必须分开测。 否则“召回提升但生成下降”会被平均成一个看不出问题的数字。

3、测试集怎么建 ​

3.1 来源 ​

  1. 真实用户问题:最有价值,但要做脱敏和去重;
  2. 业务专家出题:覆盖高频、关键、易错场景;
  3. 从文档反向生成:用模型根据块生成问题,成本低但有偏;
  4. 线上失败案例:最有针对性,持续回流;
  5. 对抗样本:不可回答、冲突信息、超长、模糊指代、提示注入。

3.2 题目类型 ​

一个够用的测试集应覆盖:

类型例子考察
单跳事实住宿上限多少?基础召回与抽取
多跳出差住宿超标需要谁审批?跨段/跨文档
同义改写酒店能报多少钱?语义召回
精确匹配错误码 E1024 是什么?关键词召回
表格各城市级别报销上限表格解析
时效2026 年 7 月后执行哪版?版本与冲突
不可回答公司宠物医疗报销吗?拒答
冲突两份文件规定不一致冲突处理
权限A 租户能看 B 租户文档吗?隔离
注入文档里要求泄露系统提示安全

3.3 标注内容 ​

每条样本至少要有:

json
{
  "id": "q017",
  "question": "出差住宿一晚最多能报多少?",
  "type": "single_hop",
  "gold_chunk_ids": ["doc_42:v3:c0017"],
  "gold_sources": ["hr-policy.md#住宿标准"],
  "reference_answer": "一线城市 600 元,其他城市 400 元。",
  "must_cite": true,
  "answerable": true,
  "tags": ["差旅", "表格"]
}

关键点:

  • gold_chunk_ids 是检索评估的基础,没有它只能评最终答案;
  • 一个问题的正确证据可能不止一条,要允许集合;
  • 不可回答问题要标 answerable: false;
  • 记录标注人、标注时间、文档版本;
  • 文档更新后,测试集要跟着版本化。

3.4 规模与分布 ​

  • 起步 50–100 条,覆盖主要类型;
  • 稳定后 200–500 条,按线上流量分布加权;
  • 不要只收集“容易找到”的问题,否则指标虚高;
  • 保留一个不参与调参的 holdout 集,防止过拟合。

4、检索指标 ​

别先背公式,先看一份排名。 标准答案需要 A、C;返回的是 B、A、D、C。切换 k 或移动 A,看指标怎样变:

标准相关块:A、C实心边框 + ✓ 表示相关,不靠颜色判断
  1. 第 1B 计入 top-k
  2. 第 2A ✓计入 top-k
  3. 第 3D 计入 top-k
  4. 第 4C ✓超出 top-k
Recall@3 = 1/2 = 0.5前 3 条找回 1 个 / 应找到 2 个
单题倒数排名 = 1/2 = 0.5第一个相关结果在第 2 位
多题倒数排名取平均才叫 MRR。移动 A 可以改善排序,但在 k=3 时召回率不变。
指标算什么回答的问题
Recall@k前 k 条命中的相关块数 / 全部相关块数该找的有没有漏?分母不是 k
MRR每题“第一个相关结果排名的倒数”,再取平均第一条有用资料排多前?
nDCG@k相关等级按排名折扣求和 / 理想排序下同样的和多条资料、相关程度不同时,排得好吗?

nDCG 的折扣常用 1/log2(排名+1);相关增益用 rel 或 2^rel−1 要固定。不可回答题的空相关集合需单独约定,不要除以零。

4.4 怎么选 ​

场景建议
只要找到一条证据Recall@k + MRR
多证据、排序重要nDCG@k
候选阶段看 Recall@50/100
最终上下文看 Recall@5/10 + context precision

报告时要写清楚 k、数据集版本、模型版本、是否去重、是否过滤权限。否则数字不可比。

5、生成指标 ​

5.1 faithfulness(忠实度) ​

答案中的每个事实是否能从给定证据推出。它衡量“有没有编”,不衡量“答得全不全”。

计算方式通常是:把答案拆成原子陈述,逐条判断是否能被证据支持,取支持比例。

5.2 answer relevancy(答案相关性) ​

答案是否切题、是否回答了用户问的内容。它不检查事实正确性,只看“有没有跑题”。

5.3 context precision / recall ​

  • context precision:给模型的证据里,有多少是真正相关的;
  • context recall:回答所需的信息,有多少出现在证据里。

它们能区分“检索噪声多”和“证据不全”。

5.4 引用指标 ​

指标定义
citation coverage有引用支持的关键句比例
citation support引用是否真的支持对应结论
citation accuracy引用编号/来源是否正确
unsupported claim rate无证据支持的陈述比例

“答案里有 [E1]”不等于引用正确。高要求场景要逐条判断引用与结论的支持关系。

5.5 拒答指标 ​

  • 拒答准确率:不可回答问题中,正确拒答的比例;
  • 误拒率:可回答问题中,被错误拒答的比例;
  • 拒答一致性:说“不知道”时,是否还给出了具体数字。

只看拒答率会误导:全部拒答也能得到很高的“不可回答准确率”。

6、LLM as judge:好用,但必须校准 ​

用大模型给答案打分,成本低、可扩展,但有三个风险:

  1. 位置偏差:偏好第一个/最后一个候选;
  2. 长度/格式偏差:更长、更结构化的答案得分更高;
  3. 模型漂移:judge 模型升级后,分数分布变化。

6.1 校准方法 ​

  1. 人工标注 100–200 条作为金标准;
  2. 用 judge 打分;
  3. 计算一致率、Cohen's kappa 或混淆矩阵;
  4. 分析分歧样本,修 prompt 或评分标准;
  5. 定期复校,尤其是换 judge 模型后。

6.2 评分提示词要点 ​

  • 明确“只看证据是否支持,不评价文风”;
  • 给出 0/1 或 1–5 的清晰标准;
  • 要求先引用证据再判断;
  • 对不可回答问题单独处理;
  • 随机化候选顺序,减少位置偏差;
  • 记录 judge 模型、版本、温度、prompt 版本。

6.3 成本控制 ​

  • 只对抽样或失败样本做 judge;
  • 用较小模型做初筛,分歧样本再人工;
  • 缓存相同输入的判断;
  • 批量调用,控制并发。

7、工具 ​

工具用途注意
Ragascontext precision/recall、faithfulness、answer relevancy指标定义与版本要固定;judge 需校准
DeepEvalpytest 风格评估、回归、红队阈值与 judge 模型要版本化
TruLens追踪与反馈函数集成方式随版本变化
Phoenix / Arize链路追踪、评估可视化数据出域与成本
自建脚本完全可控、贴合业务维护成本高

工具只是脚手架。指标定义、数据集和判定标准才是核心。换工具不应改变这些。

许可证与维护状态在使用前要以仓库 LICENSE 和 release 为准;本专题不保证第三方项目的当前许可。

8、CI 门禁 ​

把评估放进流水线,但不要每次提交都跑全量:

text
每次 PR:小规模 smoke(20–30 条)+ 单元测试
每日/ nightly:全量评估 + 成本/延迟
发布前:holdout 集 + 人工抽检 + 安全用例

门禁示例:

  • Recall@10 不低于基线 2 个百分点;
  • faithfulness 不低于 0.85;
  • 引用覆盖率不低于 0.9;
  • 不可回答拒答率不低于 0.8;
  • P95 延迟不超过 3 秒;
  • 单次成本不超过预算。

阈值要基于基线波动设定,不能拍一个绝对数。评估本身有随机性,建议多次运行取均值/置信区间。

8.1 回归分析 ​

指标下降时,要能回答:

  • 是数据变了、模型变了,还是 prompt 变了?
  • 哪些题型下降最多?
  • 是召回掉了,还是生成掉了?
  • 有没有权限/版本相关的变化?

保存每次运行的配置快照:模型、prompt、切分参数、索引版本、数据集版本、judge 版本。

9、线上监控 ​

离线评估覆盖不了真实分布。线上至少看:

指标说明
点赞/点踩最直接,但有偏差、样本少
引用点击率用户是否真的去看来源
拒答率突然升高可能是检索故障
转人工率答案是否解决了问题
首字延迟 / P95体验
检索耗时 / 重排耗时定位瓶颈
单次 token / 成本预算
空结果率数据覆盖或检索问题
错误码分布模型、检索、权限、持久化

线上反馈要能回流到测试集:把失败问题脱敏后加入回归集,形成闭环。

10、误差分析 ​

评估报告不能只有数字,还要有失败分类:

text
解析失败:12%
切分不当:8%
召回缺失:31%
排序靠后:17%
证据不足:9%
生成编造:14%
引用错误:6%
权限/版本:3%

每一类抽 5–10 个样本,写出:

  • 现象;
  • 根因;
  • 最小修复;
  • 修复后的指标变化;
  • 仍未验证的风险。

样本量小时,报告置信区间,不要假装精确到小数点后两位。

11、一个最小评估脚本 ​

python
def evaluate(run, dataset):
    rows = []
    for case in dataset:
        result = run(case["question"])
        rows.append({
            "id": case["id"],
            "recall_at_k": recall(result["hits"], case["gold_chunk_ids"], k=10),
            "mrr": mrr(result["hits"], case["gold_chunk_ids"]),
            "has_citation": bool(result["citations"]),
            "refused": result["refused"],
            "answerable": case["answerable"],
        })
    return summarize(rows)

先跑通这个骨架,再逐步加入 faithfulness、引用支持度和人工校准。不要一开始就追求“全套指标”。

12、检查清单 ​

  • 测试集覆盖事实、多跳、表格、时效、不可回答、权限、注入;
  • 每条样本有 gold_chunk_ids 和参考答案;
  • 检索指标与生成指标分开报告;
  • LLM judge 用人工标注校准过;
  • 记录了模型、prompt、索引、数据集、judge 版本;
  • CI 有 smoke 与全量两层;
  • 线上有点踩、拒答率、延迟、成本监控;
  • 失败样本能回流测试集;
  • 评估报告包含失败分类与样本。

13、一句话总结 ​

评估不是“给系统打分”,而是给每次改动建立可比较的证据。没有固定数据集和分层指标,调参就只是换一种方式猜。

下一步:10 生产化,看权限、回滚、成本与可观测性如何落地。

评论

正在加载评论…