生产化:多租户、回滚、成本与可观测性
一个 RAG Demo 到生产系统,差距通常不在模型,而在这些地方:
- 不同租户能看到彼此的数据;
- 改一份文档要重建全库;
- 索引切换失败无法回滚;
- 任务卡住没人知道;
- 延迟和成本随流量失控;
- 出问题只能看最终答案,无法定位。
这一篇按上线检查表组织。
1、权限与多租户
1.1 隔离维度
常见层级:
租户 tenant
└─ 工作区 workspace / 知识库 kb
└─ 文档 doc
└─ 块 chunk权限可能来自:
- 租户归属;
- 知识库成员;
- 文档级
ACL; - 标签/部门;
- 共享设置(只读、可下载、可引用);
- 时间/状态(归档、过期、删除中)。
1.2 过滤必须前置
错误做法:
检索 top-10 → 应用层过滤掉无权文档 → 返回剩下 2 条问题:
- 结果数量不稳定;
- 分数和延迟泄露“存在但不可见”的信息;
- 高权限内容可能已经被送入模型,再删已经晚了。
正确做法:把租户/ACL 作为检索条件,在向量库/搜索引擎层过滤,或使用分区/命名空间。
1.3 共享与归属
共享知识库容易出现“归属租户”和“访问租户”不一致。规则要明确:
- 谁拥有文档;
- 谁可以检索;
- 引用时以哪个租户身份鉴权;
- 删除/更新由谁触发;
- 审计日志记录哪个租户的访问。
1.4 测试
至少做:
- 租户 A 查询租户 B 的文档,返回空/无权限;
- 共享文档对授权租户可见,对未授权租户不可见;
- 标签范围与文件范围取交集时不越权;
- 删除中的文档不可检索;
- 引用链接点击时再次鉴权。
2、索引生命周期
查询通过 current 这样的别名找索引,而不是在代码里写死 v7。点击阶段,看新旧版本和指针怎样变化:
| 必须记录 / 做到 | 原因 |
|---|---|
| 模型版本、维度、度量、归一化、切分参数 | 查询和索引必须在兼容空间 |
| 快照点、构建任务 ID、增量与删除日志 | 构建期间的数据变化不能丢 |
| 切换前评估,切换后观察,定期对账 | 构建成功不代表质量正确 |
| 旧版增量维护、回滚演练、延迟清理与失败告警 | 保留旧版不等于它一直可安全回滚 |
重建会争用 CPU/GPU、带宽和 API 配额;控制并发、批次与限流,未经演练不要承诺零停机。
3、可靠性与幂等
3.1 异步任务
文档摄取必须是异步任务:
- 有持久化队列(或明确接受进程内队列的局限);
- 有任务 ID、状态、重试次数、最后错误;
- 有超时和死信;
- 支持取消;
- 支持人工重跑。
3.2 幂等
- 上传用内容哈希去重;
- 写入块用唯一键
upsert; - 任务带
attempt/job_id,旧轮次不能覆盖新轮次; - 删除与重建有顺序,避免旧任务删除新块;
API创建操作支持幂等键(如果客户端会重试)。
3.3 重试
区分错误类型:
| 类型 | 例子 | 策略 |
|---|---|---|
| 瞬时 | 超时、限流、5xx | 指数退避 + 抖动,有限次 |
| 永久 | 格式不支持、文件损坏 | 不重试,标记失败 |
| 部分 | 某些页解析失败 | 降级 + 告警 + 人工 |
| 未知 | 模型返回异常 | 有限重试,保留现场 |
重试要有全局预算,避免故障时放大流量。
3.4 熔断与降级
- 嵌入服务不可用 → 关键词检索兜底(如果有);
- 重排服务不可用 → 用召回结果;
- 对话模型不可用 → 明确报错,不要返回空答案;
- 向量库不可用 → 降级到关键词或只读缓存;
- 降级要记录,不能静默。
关键原则:“服务失败”不能伪装成“没有资料”。
4、性能
4.1 延迟预算
一个典型问答的耗时:
| 阶段 | 目标(示例) |
|---|---|
| 鉴权/范围解析 | 10–30 ms |
| 查询改写 | 100–500 ms(可选) |
| 查询嵌入 | 20–100 ms |
| 向量检索 | 10–100 ms |
| 关键词检索 | 10–50 ms |
| 重排 | 100–500 ms |
| 证据组装 | 10–50 ms |
首 token | 300–1500 ms |
| 完整回答 | 2–10 s |
这些只是量级,不是承诺。要把预算写进设计,并分别监控。
4.2 缓存
可缓存的内容:
- 查询嵌入(相同问题/改写结果);
- 检索结果(短
TTL,注意权限和版本); - 常见问题答案(必须带版本和权限校验);
- 文档解析结果(按内容哈希);
- 模型响应(谨慎,注意隐私和时效)。
缓存键必须包含:租户、权限范围、索引版本、模型版本、prompt 版本。少一个就可能越权或返回旧答案。
4.3 并发与批处理
- 嵌入按批调用,控制批大小和并发;
- 重排有候选上限;
- 多路召回并行,设置超时;
- 慢路径(改写、重排)可降级;
- 对下游设置连接池和限流。
4.4 压测
至少测:
- 正常流量下的
P50/P95/P99; - 突发流量;
- 嵌入服务变慢;
- 向量库部分节点故障;
- 大文档上传并发;
- 长回答流式连接数。
5、可观测性
5.1 日志
每次问答记录:
{
"run_id": "...",
"tenant_id": "...",
"session_id": "...",
"question": "...",
"rewritten": "...",
"targets": ["kb_42"],
"channels": {"vector": 30, "keyword": 30},
"fused": 40,
"reranked": 8,
"final_chunk_ids": ["..."],
"model": "...",
"prompt_version": "...",
"index_version": "...",
"latency_ms": {"retrieval": 85, "rerank": 210, "generation": 2400},
"tokens": {"input": 3200, "output": 420},
"refused": false,
"citations": ["..."],
"error": null
}注意脱敏:问题、文档内容、用户标识都可能含敏感信息。
5.2 指标
- 请求量、错误率、超时率;
- 各阶段延迟分位数;
- 召回候选数、空结果率;
- 拒答率、点踩率;
- 引用点击率;
token使用与成本;- 队列积压、任务失败率、文档卡住时长。
5.3 追踪
用 trace_id 串起:
HTTP → 鉴权 → 检索 → 重排 → 模型 → 持久化 → SSE每个阶段一个 span,记录输入摘要、输出数量、耗时、错误。没有追踪,跨服务问题很难定位。
5.4 告警
建议告警:
- 错误率突增;
P95延迟超阈值;- 队列积压;
- 文档长时间停留在
processing; - 拒答率异常升高/降低;
- 嵌入/重排服务不可用;
- 索引切换失败;
- 成本超预算。
6、成本
RAG 的成本由几块组成:
| 项目 | 说明 | 优化 |
|---|---|---|
| 嵌入 | 建索引 + 每次查询 | 批量、缓存、较小模型、只重算变更块 |
| 生成 | 输入证据 + 历史 + 输出 | 控 top-k、压缩证据、摘要历史、选合适模型 |
| 重排 | 每候选一次模型调用 | 限制候选数、用小模型、失败回退 |
| 向量存储 | 内存/磁盘/副本 | 降维、量化、清理旧版本 |
| 关键词索引 | 存储与查询 | 分片、按需保留 |
| 网络/出域 | 云 API 调用 | 区域、批处理 |
6.1 成本优化顺序
- 先测量:按阶段、租户、接口拆分;
- 去掉重复调用(同一问题重复嵌入、重复重排);
- 控制输入(
top-k、证据长度、历史轮数); - 缓存高频查询;
- 模型分级(简单问题小模型,复杂问题大模型);
- 最后才考虑降维/量化,确认召回可接受。
不要为了省钱把 top-k 砍到 1,再用“答案质量下降”换成本。要用评估集找平衡点。
7、安全
7.1 数据安全
- 传输与存储加密;
- 租户隔离;
- 最小权限;
- 日志脱敏;
- 数据保留与删除策略;
- 跨境/出域合规。
7.2 提示注入
- 文档视为不可信数据;
- 系统提示声明边界;
- 工具调用独立鉴权;
- 输出过滤敏感信息;
- 红队测试:恶意文档、伪造系统消息、越权指令。
7.3 引用与链接
- 引用链接点击时重新鉴权;
- 不要直接暴露内部存储路径;
- 签名
URL设置短过期; - 防止通过引用泄露其他租户文档标题。
7.4 审计
记录:
- 谁在什么时候问了什么;
- 检索了哪些文档;
- 使用了哪个模型和索引版本;
- 是否拒答;
- 是否发生权限拒绝。
审计日志本身也要权限控制和保留策略。
8、发布与回滚
8.1 发布内容
一次发布可能同时改变:
- 解析器;
- 切分参数;
- 嵌入模型;
- 索引结构;
- 检索融合权重;
- 重排模型;
Prompt;- 生成模型。
这些变更要分开评估、分开发布,不要一次全改。否则指标变化无法归因。
8.2 发布策略
离线评估 → 小流量灰度 → 观察指标 → 扩大 → 全量灰度维度:
- 租户;
- 知识库;
- 用户比例;
- 问题类型。
8.3 回滚
回滚要能在分钟级完成:
- 索引别名切回旧版本;
- 配置开关切回旧
prompt/模型; - 功能开关关闭新链路;
- 队列任务可暂停;
- 数据库迁移要向前兼容。
回滚演练比回滚方案更重要。没演练过的回滚,通常不能用。
9、容量规划
估算:
存储 = 块数 × (向量 + 原文 + 元数据) × 副本数 × 版本数
QPS = 峰值用户数 × 人均提问频率
成本 = 嵌入成本 + 生成 token 成本 + 存储 + 网络要考虑:
- 文档增长;
- 版本保留;
- 备份;
- 索引重建时的双份存储;
- 峰值流量;
- 模型限流。
10、运维 Runbook
| 现象 | 先查 | 处理 |
|---|---|---|
文档一直 processing | 任务队列、worker 日志、状态计数 | 重试/修复计数/人工介入 |
| 搜不到新文档 | 状态、索引版本、权限 | 重建/切换/修权限 |
| 搜到旧文档 | 删除、版本过滤、缓存 | 墓碑、清缓存、对账 |
| 答案突然变差 | 模型、prompt、索引版本 | 回滚最近变更 |
| 延迟升高 | 嵌入/重排/向量库 | 限流、降级、扩容 |
| 成本飙升 | top-k、历史、重试 | 控预算、缓存 |
| 越权 | 过滤位置、共享规则 | 立即止血、审计 |
11、上线检查表
- 租户/
ACL在检索前过滤,并有越权测试; - 索引有版本、别名、蓝绿切换和回滚;
- 文档状态机覆盖失败、取消、删除;
- 任务幂等、可重试、可取消;
- 服务失败与“无资料”分开处理;
- 有
P95/P99、错误率、队列、成本监控; - 有
run_id和分阶段追踪; - 缓存键包含租户、权限、版本;
- 提示注入有红队用例;
- 回滚演练过;
- 成本有预算和告警;
- 审计日志可查。
12、一句话总结
生产化的核心不是“更复杂的模型”,而是让系统在权限、失败、更新和流量面前保持可解释、可回滚、可观测。
下一步:11 高级 RAG,看哪些高级模式值得引入,哪些只是增加复杂度。
评论
正在加载评论…