Skip to content

05. RAG 与知识库 ​

这篇文章保留在 AI 总路线中,负责回答“RAG 解决什么问题、应该怎样学习”。具体实现已经集中到 RAG 专题,避免同一套内容在两个入口重复维护。

1、先建立正确的心智模型 ​

RAG 不是把文档上传到向量库后让模型“自动学会”。它是一条可追溯的证据链:

text
文档 → 解析/OCR → 清洗 → 结构化切分 → Embedding/关键词索引
问题 → 权限与时间过滤 → 召回 → 重排 → Context → 回答/引用/拒答

需要区分四个概念:

  • LLM 负责理解问题和组织语言,不保证掌握最新业务事实。
  • 知识库保存外部事实,必须有来源、版本、生效时间和权限。
  • chunk 是检索和引用的最小证据单元,应保留标题路径与页码。
  • Embedding 把文本映射成向量,适合找语义相近的表达,不能代替权限和事实校验。

2、按这条路径深入 ​

阶段要掌握的知识点专题章节可验证产出
入门用生活化类比理解 RAG 在做什么01 白话 RAG能用一段话向非技术同事解释
原理参数记忆、工作记忆、外部记忆;输入输出契约02 原理地图画出一条带责任边界的链路
实战ingest、ask、测试和排错03 最小实现本地 Demo 与测试结果
数据摄取PDF/OCR/表格解析、去重、chunk、版本和 ACL04 数据摄取一个可回溯的 chunk JSON
索引嵌入模型、度量、HNSW/IVF、过滤与索引版本05 向量化与索引一次可复现的索引重建
检索BM25、dense、hybrid、RRF、过滤、重排06 检索与重排一份 Recall@k 诊断表
生成上下文预算、引用绑定、拒答、冲突和提示注入07 生成与引用一个带证据的回答协议
全链路上传、异步任务、状态机、流式与恢复08 文档上传到问答全链路一张带失败分支的时序图
评估检索指标、生成评审、回归集、线上反馈09 评估一份可比较的评估报告
生产权限、索引版本、回滚、延迟、成本和删除10 生产化上线检查清单
高级模式查询改写、HyDE、GraphRAG、Agentic RAG、多模态11 高级 RAG一份“何时不该升级”的决策记录
排障按症状定位到解析、检索、生成或权限12 排障手册一份自己的 Runbook
资料开源实现、论文、基准与许可证13 项目与资料一份选型对照表

每个阶段都要回答四个问题:输入是什么,输出是什么,失败如何观测,谁对结果负责。只会调用框架接口,无法定位“召回错、重排错还是生成错”。

3、两条学习路线 ​

3.1 先跑再拆 ​

适合第一次接触 RAG:先读 01 白话 RAG,再运行 03 最小实现,看到一次带引用的回答,然后回到 02 原理地图 和 04 数据摄取 解释每个中间结果,最后用 09 评估 和 10 生产化 做回归与上线审查。

3.2 先学系统再写代码 ​

适合要负责生产系统的人:按 02→04→05→06→07→08 顺序学习,重点记录 chunk、检索命中、证据和最终回答之间的字段变化,再进入 09–12。

4、什么时候不用 RAG ​

需要完整集合、精确聚合、事务一致性或权限写入的请求,应使用数据库和工作流。RAG 可以解释制度,却不能替代 SQL、审批和业务规则引擎。

返回 RAG 专题导读 开始学习。

评论

正在加载评论…