评估:证明 RAG 真的变好了
RAG 的难点之一是可观测性差:答案看起来通顺,不代表正确;引用存在,不代表支持结论;离线指标涨了,线上用户未必满意。
评估的目的不是得到一个漂亮分数,而是回答三个问题:
- 改这个配置,是提升还是回归?
- 错误出在数据、检索、排序还是生成?
- 线上表现和离线评估是否一致?
1、为什么 RAG 评估比普通分类难
- 多阶段:解析、切分、召回、融合、重排、生成,任何一层都能导致最终错误;
- 非确定:同一问题,模型可能给出不同表述;
- 答案开放:没有唯一字符串,不能只用精确匹配;
- 证据依赖:答案对,可能引用了错来源;答案错,可能证据其实是对的;
- 分布漂移:文档更新、模型升级、用户提问变化都会让旧测试集失效。
所以要用分层指标 + 固定数据集 + 人工校准,而不是一个“准确率”。
2、评估对象分层
| 层 | 评什么 | 主要指标 |
|---|---|---|
| 解析 | 文字、结构、表格、定位是否正确 | 抽样准确率、结构保留率、定位成功率 |
| 切分 | 块是否语义完整、可回到原文 | 人工抽查、边界命中率 |
| 检索 | 正确证据是否进候选 | Recall@k、MRR、nDCG@k |
| 上下文 | 给模型的证据是否相关且完整 | context precision / recall |
| 生成 | 是否忠于证据、是否回答问题 | faithfulness、answer relevancy |
| 引用 | 引用是否支持结论 | citation coverage、citation support |
| 系统 | 延迟、失败、成本、拒答 | P95、错误率、拒答率、单次成本 |
检索指标和生成指标必须分开测。 否则“召回提升但生成下降”会被平均成一个看不出问题的数字。
3、测试集怎么建
3.1 来源
- 真实用户问题:最有价值,但要做脱敏和去重;
- 业务专家出题:覆盖高频、关键、易错场景;
- 从文档反向生成:用模型根据块生成问题,成本低但有偏;
- 线上失败案例:最有针对性,持续回流;
- 对抗样本:不可回答、冲突信息、超长、模糊指代、提示注入。
3.2 题目类型
一个够用的测试集应覆盖:
| 类型 | 例子 | 考察 |
|---|---|---|
| 单跳事实 | 住宿上限多少? | 基础召回与抽取 |
| 多跳 | 出差住宿超标需要谁审批? | 跨段/跨文档 |
| 同义改写 | 酒店能报多少钱? | 语义召回 |
| 精确匹配 | 错误码 E1024 是什么? | 关键词召回 |
| 表格 | 各城市级别报销上限 | 表格解析 |
| 时效 | 2026 年 7 月后执行哪版? | 版本与冲突 |
| 不可回答 | 公司宠物医疗报销吗? | 拒答 |
| 冲突 | 两份文件规定不一致 | 冲突处理 |
| 权限 | A 租户能看 B 租户文档吗? | 隔离 |
| 注入 | 文档里要求泄露系统提示 | 安全 |
3.3 标注内容
每条样本至少要有:
{
"id": "q017",
"question": "出差住宿一晚最多能报多少?",
"type": "single_hop",
"gold_chunk_ids": ["doc_42:v3:c0017"],
"gold_sources": ["hr-policy.md#住宿标准"],
"reference_answer": "一线城市 600 元,其他城市 400 元。",
"must_cite": true,
"answerable": true,
"tags": ["差旅", "表格"]
}关键点:
gold_chunk_ids是检索评估的基础,没有它只能评最终答案;- 一个问题的正确证据可能不止一条,要允许集合;
- 不可回答问题要标
answerable: false; - 记录标注人、标注时间、文档版本;
- 文档更新后,测试集要跟着版本化。
3.4 规模与分布
- 起步 50–100 条,覆盖主要类型;
- 稳定后 200–500 条,按线上流量分布加权;
- 不要只收集“容易找到”的问题,否则指标虚高;
- 保留一个不参与调参的
holdout集,防止过拟合。
4、检索指标
别先背公式,先看一份排名。 标准答案需要 A、C;返回的是 B、A、D、C。切换 k 或移动 A,看指标怎样变:
- 第 1B 计入 top-k
- 第 2A ✓计入 top-k
- 第 3D 计入 top-k
- 第 4C ✓超出 top-k
| 指标 | 算什么 | 回答的问题 |
|---|---|---|
Recall@k | 前 k 条命中的相关块数 / 全部相关块数 | 该找的有没有漏?分母不是 k |
MRR | 每题“第一个相关结果排名的倒数”,再取平均 | 第一条有用资料排多前? |
nDCG@k | 相关等级按排名折扣求和 / 理想排序下同样的和 | 多条资料、相关程度不同时,排得好吗? |
nDCG 的折扣常用 1/log2(排名+1);相关增益用 rel 或 2^rel−1 要固定。不可回答题的空相关集合需单独约定,不要除以零。
4.4 怎么选
| 场景 | 建议 |
|---|---|
| 只要找到一条证据 | Recall@k + MRR |
| 多证据、排序重要 | nDCG@k |
| 候选阶段 | 看 Recall@50/100 |
| 最终上下文 | 看 Recall@5/10 + context precision |
报告时要写清楚 k、数据集版本、模型版本、是否去重、是否过滤权限。否则数字不可比。
5、生成指标
5.1 faithfulness(忠实度)
答案中的每个事实是否能从给定证据推出。它衡量“有没有编”,不衡量“答得全不全”。
计算方式通常是:把答案拆成原子陈述,逐条判断是否能被证据支持,取支持比例。
5.2 answer relevancy(答案相关性)
答案是否切题、是否回答了用户问的内容。它不检查事实正确性,只看“有没有跑题”。
5.3 context precision / recall
- context precision:给模型的证据里,有多少是真正相关的;
- context recall:回答所需的信息,有多少出现在证据里。
它们能区分“检索噪声多”和“证据不全”。
5.4 引用指标
| 指标 | 定义 |
|---|---|
| citation coverage | 有引用支持的关键句比例 |
| citation support | 引用是否真的支持对应结论 |
| citation accuracy | 引用编号/来源是否正确 |
| unsupported claim rate | 无证据支持的陈述比例 |
“答案里有 [E1]”不等于引用正确。高要求场景要逐条判断引用与结论的支持关系。
5.5 拒答指标
- 拒答准确率:不可回答问题中,正确拒答的比例;
- 误拒率:可回答问题中,被错误拒答的比例;
- 拒答一致性:说“不知道”时,是否还给出了具体数字。
只看拒答率会误导:全部拒答也能得到很高的“不可回答准确率”。
6、LLM as judge:好用,但必须校准
用大模型给答案打分,成本低、可扩展,但有三个风险:
- 位置偏差:偏好第一个/最后一个候选;
- 长度/格式偏差:更长、更结构化的答案得分更高;
- 模型漂移:judge 模型升级后,分数分布变化。
6.1 校准方法
- 人工标注 100–200 条作为金标准;
- 用 judge 打分;
- 计算一致率、
Cohen's kappa或混淆矩阵; - 分析分歧样本,修
prompt或评分标准; - 定期复校,尤其是换 judge 模型后。
6.2 评分提示词要点
- 明确“只看证据是否支持,不评价文风”;
- 给出 0/1 或 1–5 的清晰标准;
- 要求先引用证据再判断;
- 对不可回答问题单独处理;
- 随机化候选顺序,减少位置偏差;
- 记录 judge 模型、版本、温度、
prompt版本。
6.3 成本控制
- 只对抽样或失败样本做 judge;
- 用较小模型做初筛,分歧样本再人工;
- 缓存相同输入的判断;
- 批量调用,控制并发。
7、工具
| 工具 | 用途 | 注意 |
|---|---|---|
Ragas | context precision/recall、faithfulness、answer relevancy | 指标定义与版本要固定;judge 需校准 |
DeepEval | pytest 风格评估、回归、红队 | 阈值与 judge 模型要版本化 |
TruLens | 追踪与反馈函数 | 集成方式随版本变化 |
Phoenix / Arize | 链路追踪、评估可视化 | 数据出域与成本 |
| 自建脚本 | 完全可控、贴合业务 | 维护成本高 |
工具只是脚手架。指标定义、数据集和判定标准才是核心。换工具不应改变这些。
许可证与维护状态在使用前要以仓库 LICENSE 和 release 为准;本专题不保证第三方项目的当前许可。
8、CI 门禁
把评估放进流水线,但不要每次提交都跑全量:
每次 PR:小规模 smoke(20–30 条)+ 单元测试
每日/ nightly:全量评估 + 成本/延迟
发布前:holdout 集 + 人工抽检 + 安全用例门禁示例:
Recall@10不低于基线 2 个百分点;faithfulness不低于 0.85;- 引用覆盖率不低于 0.9;
- 不可回答拒答率不低于 0.8;
P95延迟不超过 3 秒;- 单次成本不超过预算。
阈值要基于基线波动设定,不能拍一个绝对数。评估本身有随机性,建议多次运行取均值/置信区间。
8.1 回归分析
指标下降时,要能回答:
- 是数据变了、模型变了,还是
prompt变了? - 哪些题型下降最多?
- 是召回掉了,还是生成掉了?
- 有没有权限/版本相关的变化?
保存每次运行的配置快照:模型、prompt、切分参数、索引版本、数据集版本、judge 版本。
9、线上监控
离线评估覆盖不了真实分布。线上至少看:
| 指标 | 说明 |
|---|---|
| 点赞/点踩 | 最直接,但有偏差、样本少 |
| 引用点击率 | 用户是否真的去看来源 |
| 拒答率 | 突然升高可能是检索故障 |
| 转人工率 | 答案是否解决了问题 |
首字延迟 / P95 | 体验 |
| 检索耗时 / 重排耗时 | 定位瓶颈 |
单次 token / 成本 | 预算 |
| 空结果率 | 数据覆盖或检索问题 |
| 错误码分布 | 模型、检索、权限、持久化 |
线上反馈要能回流到测试集:把失败问题脱敏后加入回归集,形成闭环。
10、误差分析
评估报告不能只有数字,还要有失败分类:
解析失败:12%
切分不当:8%
召回缺失:31%
排序靠后:17%
证据不足:9%
生成编造:14%
引用错误:6%
权限/版本:3%每一类抽 5–10 个样本,写出:
- 现象;
- 根因;
- 最小修复;
- 修复后的指标变化;
- 仍未验证的风险。
样本量小时,报告置信区间,不要假装精确到小数点后两位。
11、一个最小评估脚本
def evaluate(run, dataset):
rows = []
for case in dataset:
result = run(case["question"])
rows.append({
"id": case["id"],
"recall_at_k": recall(result["hits"], case["gold_chunk_ids"], k=10),
"mrr": mrr(result["hits"], case["gold_chunk_ids"]),
"has_citation": bool(result["citations"]),
"refused": result["refused"],
"answerable": case["answerable"],
})
return summarize(rows)先跑通这个骨架,再逐步加入 faithfulness、引用支持度和人工校准。不要一开始就追求“全套指标”。
12、检查清单
- 测试集覆盖事实、多跳、表格、时效、不可回答、权限、注入;
- 每条样本有
gold_chunk_ids和参考答案; - 检索指标与生成指标分开报告;
LLMjudge 用人工标注校准过;- 记录了模型、
prompt、索引、数据集、judge 版本; CI有 smoke 与全量两层;- 线上有点踩、拒答率、延迟、成本监控;
- 失败样本能回流测试集;
- 评估报告包含失败分类与样本。
13、一句话总结
评估不是“给系统打分”,而是给每次改动建立可比较的证据。没有固定数据集和分层指标,调参就只是换一种方式猜。
下一步:10 生产化,看权限、回滚、成本与可观测性如何落地。
评论
正在加载评论…