05. RAG 与知识库
这篇文章保留在 AI 总路线中,负责回答“RAG 解决什么问题、应该怎样学习”。具体实现已经集中到 RAG 专题,避免同一套内容在两个入口重复维护。
1、先建立正确的心智模型
RAG 不是把文档上传到向量库后让模型“自动学会”。它是一条可追溯的证据链:
text
文档 → 解析/OCR → 清洗 → 结构化切分 → Embedding/关键词索引
问题 → 权限与时间过滤 → 召回 → 重排 → Context → 回答/引用/拒答需要区分四个概念:
LLM负责理解问题和组织语言,不保证掌握最新业务事实。- 知识库保存外部事实,必须有来源、版本、生效时间和权限。
chunk是检索和引用的最小证据单元,应保留标题路径与页码。Embedding把文本映射成向量,适合找语义相近的表达,不能代替权限和事实校验。
2、按这条路径深入
| 阶段 | 要掌握的知识点 | 专题章节 | 可验证产出 |
|---|---|---|---|
| 入门 | 用生活化类比理解 RAG 在做什么 | 01 白话 RAG | 能用一段话向非技术同事解释 |
| 原理 | 参数记忆、工作记忆、外部记忆;输入输出契约 | 02 原理地图 | 画出一条带责任边界的链路 |
| 实战 | ingest、ask、测试和排错 | 03 最小实现 | 本地 Demo 与测试结果 |
| 数据摄取 | PDF/OCR/表格解析、去重、chunk、版本和 ACL | 04 数据摄取 | 一个可回溯的 chunk JSON |
| 索引 | 嵌入模型、度量、HNSW/IVF、过滤与索引版本 | 05 向量化与索引 | 一次可复现的索引重建 |
| 检索 | BM25、dense、hybrid、RRF、过滤、重排 | 06 检索与重排 | 一份 Recall@k 诊断表 |
| 生成 | 上下文预算、引用绑定、拒答、冲突和提示注入 | 07 生成与引用 | 一个带证据的回答协议 |
| 全链路 | 上传、异步任务、状态机、流式与恢复 | 08 文档上传到问答全链路 | 一张带失败分支的时序图 |
| 评估 | 检索指标、生成评审、回归集、线上反馈 | 09 评估 | 一份可比较的评估报告 |
| 生产 | 权限、索引版本、回滚、延迟、成本和删除 | 10 生产化 | 上线检查清单 |
| 高级模式 | 查询改写、HyDE、GraphRAG、Agentic RAG、多模态 | 11 高级 RAG | 一份“何时不该升级”的决策记录 |
| 排障 | 按症状定位到解析、检索、生成或权限 | 12 排障手册 | 一份自己的 Runbook |
| 资料 | 开源实现、论文、基准与许可证 | 13 项目与资料 | 一份选型对照表 |
每个阶段都要回答四个问题:输入是什么,输出是什么,失败如何观测,谁对结果负责。只会调用框架接口,无法定位“召回错、重排错还是生成错”。
3、两条学习路线
3.1 先跑再拆
适合第一次接触 RAG:先读 01 白话 RAG,再运行 03 最小实现,看到一次带引用的回答,然后回到 02 原理地图 和 04 数据摄取 解释每个中间结果,最后用 09 评估 和 10 生产化 做回归与上线审查。
3.2 先学系统再写代码
适合要负责生产系统的人:按 02→04→05→06→07→08 顺序学习,重点记录 chunk、检索命中、证据和最终回答之间的字段变化,再进入 09–12。
4、什么时候不用 RAG
需要完整集合、精确聚合、事务一致性或权限写入的请求,应使用数据库和工作流。RAG 可以解释制度,却不能替代 SQL、审批和业务规则引擎。
返回 RAG 专题导读 开始学习。
评论
正在加载评论…