Skip to content

生产化:多租户、回滚、成本与可观测性 ​

一个 RAG Demo 到生产系统,差距通常不在模型,而在这些地方:

  • 不同租户能看到彼此的数据;
  • 改一份文档要重建全库;
  • 索引切换失败无法回滚;
  • 任务卡住没人知道;
  • 延迟和成本随流量失控;
  • 出问题只能看最终答案,无法定位。

这一篇按上线检查表组织。

1、权限与多租户 ​

1.1 隔离维度 ​

常见层级:

text
租户 tenant
 └─ 工作区 workspace / 知识库 kb
     └─ 文档 doc
         └─ 块 chunk

权限可能来自:

  • 租户归属;
  • 知识库成员;
  • 文档级 ACL;
  • 标签/部门;
  • 共享设置(只读、可下载、可引用);
  • 时间/状态(归档、过期、删除中)。

1.2 过滤必须前置 ​

错误做法:

text
检索 top-10 → 应用层过滤掉无权文档 → 返回剩下 2 条

问题:

  • 结果数量不稳定;
  • 分数和延迟泄露“存在但不可见”的信息;
  • 高权限内容可能已经被送入模型,再删已经晚了。

正确做法:把租户/ACL 作为检索条件,在向量库/搜索引擎层过滤,或使用分区/命名空间。

1.3 共享与归属 ​

共享知识库容易出现“归属租户”和“访问租户”不一致。规则要明确:

  • 谁拥有文档;
  • 谁可以检索;
  • 引用时以哪个租户身份鉴权;
  • 删除/更新由谁触发;
  • 审计日志记录哪个租户的访问。

1.4 测试 ​

至少做:

  • 租户 A 查询租户 B 的文档,返回空/无权限;
  • 共享文档对授权租户可见,对未授权租户不可见;
  • 标签范围与文件范围取交集时不越权;
  • 删除中的文档不可检索;
  • 引用链接点击时再次鉴权。

2、索引生命周期 ​

查询通过 current 这样的别名找索引,而不是在代码里写死 v7。点击阶段,看新旧版本和指针怎样变化:

蓝绿发布:切换的是当前版本指针
蓝绿发布:切换的是当前版本指针当前阶段:旧版服务。查询指针 current 指向 v7。切换要同时匹配查询配置,回滚前检查旧版数据是否仍然新鲜。查询入口 current旧索引 v7当前提供查询构建期间继续服务新索引 v8尚未构建模型与查询配置要匹配① 查询只认入口,不在代码里写死 v7别名原子切换 ≠ 跨存储原子切换保留旧索引 ≠ 它自动拥有最新数据
示意版本与变更序号;回滚、同步、鉴权都要单独验证,不承诺零停机或零数据丢失。
必须记录 / 做到原因
模型版本、维度、度量、归一化、切分参数查询和索引必须在兼容空间
快照点、构建任务 ID、增量与删除日志构建期间的数据变化不能丢
切换前评估,切换后观察,定期对账构建成功不代表质量正确
旧版增量维护、回滚演练、延迟清理与失败告警保留旧版不等于它一直可安全回滚

重建会争用 CPU/GPU、带宽和 API 配额;控制并发、批次与限流,未经演练不要承诺零停机。

3、可靠性与幂等 ​

3.1 异步任务 ​

文档摄取必须是异步任务:

  • 有持久化队列(或明确接受进程内队列的局限);
  • 有任务 ID、状态、重试次数、最后错误;
  • 有超时和死信;
  • 支持取消;
  • 支持人工重跑。

3.2 幂等 ​

  • 上传用内容哈希去重;
  • 写入块用唯一键 upsert;
  • 任务带 attempt/job_id,旧轮次不能覆盖新轮次;
  • 删除与重建有顺序,避免旧任务删除新块;
  • API 创建操作支持幂等键(如果客户端会重试)。

3.3 重试 ​

区分错误类型:

类型例子策略
瞬时超时、限流、5xx指数退避 + 抖动,有限次
永久格式不支持、文件损坏不重试,标记失败
部分某些页解析失败降级 + 告警 + 人工
未知模型返回异常有限重试,保留现场

重试要有全局预算,避免故障时放大流量。

3.4 熔断与降级 ​

  • 嵌入服务不可用 → 关键词检索兜底(如果有);
  • 重排服务不可用 → 用召回结果;
  • 对话模型不可用 → 明确报错,不要返回空答案;
  • 向量库不可用 → 降级到关键词或只读缓存;
  • 降级要记录,不能静默。

关键原则:“服务失败”不能伪装成“没有资料”。

4、性能 ​

4.1 延迟预算 ​

一个典型问答的耗时:

阶段目标(示例)
鉴权/范围解析10–30 ms
查询改写100–500 ms(可选)
查询嵌入20–100 ms
向量检索10–100 ms
关键词检索10–50 ms
重排100–500 ms
证据组装10–50 ms
首 token300–1500 ms
完整回答2–10 s

这些只是量级,不是承诺。要把预算写进设计,并分别监控。

4.2 缓存 ​

可缓存的内容:

  • 查询嵌入(相同问题/改写结果);
  • 检索结果(短 TTL,注意权限和版本);
  • 常见问题答案(必须带版本和权限校验);
  • 文档解析结果(按内容哈希);
  • 模型响应(谨慎,注意隐私和时效)。

缓存键必须包含:租户、权限范围、索引版本、模型版本、prompt 版本。少一个就可能越权或返回旧答案。

4.3 并发与批处理 ​

  • 嵌入按批调用,控制批大小和并发;
  • 重排有候选上限;
  • 多路召回并行,设置超时;
  • 慢路径(改写、重排)可降级;
  • 对下游设置连接池和限流。

4.4 压测 ​

至少测:

  • 正常流量下的 P50/P95/P99;
  • 突发流量;
  • 嵌入服务变慢;
  • 向量库部分节点故障;
  • 大文档上传并发;
  • 长回答流式连接数。

5、可观测性 ​

5.1 日志 ​

每次问答记录:

json
{
  "run_id": "...",
  "tenant_id": "...",
  "session_id": "...",
  "question": "...",
  "rewritten": "...",
  "targets": ["kb_42"],
  "channels": {"vector": 30, "keyword": 30},
  "fused": 40,
  "reranked": 8,
  "final_chunk_ids": ["..."],
  "model": "...",
  "prompt_version": "...",
  "index_version": "...",
  "latency_ms": {"retrieval": 85, "rerank": 210, "generation": 2400},
  "tokens": {"input": 3200, "output": 420},
  "refused": false,
  "citations": ["..."],
  "error": null
}

注意脱敏:问题、文档内容、用户标识都可能含敏感信息。

5.2 指标 ​

  • 请求量、错误率、超时率;
  • 各阶段延迟分位数;
  • 召回候选数、空结果率;
  • 拒答率、点踩率;
  • 引用点击率;
  • token 使用与成本;
  • 队列积压、任务失败率、文档卡住时长。

5.3 追踪 ​

用 trace_id 串起:

text
HTTP → 鉴权 → 检索 → 重排 → 模型 → 持久化 → SSE

每个阶段一个 span,记录输入摘要、输出数量、耗时、错误。没有追踪,跨服务问题很难定位。

5.4 告警 ​

建议告警:

  • 错误率突增;
  • P95 延迟超阈值;
  • 队列积压;
  • 文档长时间停留在 processing;
  • 拒答率异常升高/降低;
  • 嵌入/重排服务不可用;
  • 索引切换失败;
  • 成本超预算。

6、成本 ​

RAG 的成本由几块组成:

项目说明优化
嵌入建索引 + 每次查询批量、缓存、较小模型、只重算变更块
生成输入证据 + 历史 + 输出控 top-k、压缩证据、摘要历史、选合适模型
重排每候选一次模型调用限制候选数、用小模型、失败回退
向量存储内存/磁盘/副本降维、量化、清理旧版本
关键词索引存储与查询分片、按需保留
网络/出域云 API 调用区域、批处理

6.1 成本优化顺序 ​

  1. 先测量:按阶段、租户、接口拆分;
  2. 去掉重复调用(同一问题重复嵌入、重复重排);
  3. 控制输入(top-k、证据长度、历史轮数);
  4. 缓存高频查询;
  5. 模型分级(简单问题小模型,复杂问题大模型);
  6. 最后才考虑降维/量化,确认召回可接受。

不要为了省钱把 top-k 砍到 1,再用“答案质量下降”换成本。要用评估集找平衡点。

7、安全 ​

7.1 数据安全 ​

  • 传输与存储加密;
  • 租户隔离;
  • 最小权限;
  • 日志脱敏;
  • 数据保留与删除策略;
  • 跨境/出域合规。

7.2 提示注入 ​

  • 文档视为不可信数据;
  • 系统提示声明边界;
  • 工具调用独立鉴权;
  • 输出过滤敏感信息;
  • 红队测试:恶意文档、伪造系统消息、越权指令。

7.3 引用与链接 ​

  • 引用链接点击时重新鉴权;
  • 不要直接暴露内部存储路径;
  • 签名 URL 设置短过期;
  • 防止通过引用泄露其他租户文档标题。

7.4 审计 ​

记录:

  • 谁在什么时候问了什么;
  • 检索了哪些文档;
  • 使用了哪个模型和索引版本;
  • 是否拒答;
  • 是否发生权限拒绝。

审计日志本身也要权限控制和保留策略。

8、发布与回滚 ​

8.1 发布内容 ​

一次发布可能同时改变:

  • 解析器;
  • 切分参数;
  • 嵌入模型;
  • 索引结构;
  • 检索融合权重;
  • 重排模型;
  • Prompt;
  • 生成模型。

这些变更要分开评估、分开发布,不要一次全改。否则指标变化无法归因。

8.2 发布策略 ​

text
离线评估 → 小流量灰度 → 观察指标 → 扩大 → 全量

灰度维度:

  • 租户;
  • 知识库;
  • 用户比例;
  • 问题类型。

8.3 回滚 ​

回滚要能在分钟级完成:

  • 索引别名切回旧版本;
  • 配置开关切回旧 prompt/模型;
  • 功能开关关闭新链路;
  • 队列任务可暂停;
  • 数据库迁移要向前兼容。

回滚演练比回滚方案更重要。没演练过的回滚,通常不能用。

9、容量规划 ​

估算:

text
存储 = 块数 × (向量 + 原文 + 元数据) × 副本数 × 版本数
QPS  = 峰值用户数 × 人均提问频率
成本 = 嵌入成本 + 生成 token 成本 + 存储 + 网络

要考虑:

  • 文档增长;
  • 版本保留;
  • 备份;
  • 索引重建时的双份存储;
  • 峰值流量;
  • 模型限流。

10、运维 Runbook ​

现象先查处理
文档一直 processing任务队列、worker 日志、状态计数重试/修复计数/人工介入
搜不到新文档状态、索引版本、权限重建/切换/修权限
搜到旧文档删除、版本过滤、缓存墓碑、清缓存、对账
答案突然变差模型、prompt、索引版本回滚最近变更
延迟升高嵌入/重排/向量库限流、降级、扩容
成本飙升top-k、历史、重试控预算、缓存
越权过滤位置、共享规则立即止血、审计

11、上线检查表 ​

  • 租户/ACL 在检索前过滤,并有越权测试;
  • 索引有版本、别名、蓝绿切换和回滚;
  • 文档状态机覆盖失败、取消、删除;
  • 任务幂等、可重试、可取消;
  • 服务失败与“无资料”分开处理;
  • 有 P95/P99、错误率、队列、成本监控;
  • 有 run_id 和分阶段追踪;
  • 缓存键包含租户、权限、版本;
  • 提示注入有红队用例;
  • 回滚演练过;
  • 成本有预算和告警;
  • 审计日志可查。

12、一句话总结 ​

生产化的核心不是“更复杂的模型”,而是让系统在权限、失败、更新和流量面前保持可解释、可回滚、可观测。

下一步:11 高级 RAG,看哪些高级模式值得引入,哪些只是增加复杂度。

评论

正在加载评论…