项目与资料:对照阅读的开源实现
本专题的很多设计来自对真实项目的观察。这一篇给出可对照阅读的仓库、论文与基准,以及怎么读。
时间说明:以下信息以 2026-11 的公开仓库为准。开源项目迭代很快,接口、目录、许可证都可能变化。使用前请以仓库的
LICENSE、README、release和实际代码为准。本专题不保证任何第三方项目的当前许可、Star 数或维护状态。特别提醒:部分仓库在
GitHub API中返回NOASSERTION(无法识别标准许可证)或未声明许可证。这类项目不能默认可以商用,必须逐一确认。
1、完整的 RAG 应用
1.1 WeKnora(腾讯)
- 仓库:
https://github.com/Tencent/WeKnora - 形态:
Go编排 + 独立文档解析服务,支持本地/服务端向量库,带会话与流式问答。 - 适合看:
- 文档上传 → 解析 → 切分 → 索引 → 检索 → 生成的全链路;
- 异步任务、状态机、失败重试;
SSE流式、停止/恢复;- 知识库与租户模型。
- 许可:仓库
LICENSE状态需自行确认(API可能返回NOASSERTION)。 - 本专题 08 全链路 主要以它为参照,但区分了当前实现与目标设计,不要把它当成唯一标准答案。
1.2 RAGFlow
- 仓库:
https://github.com/infiniflow/ragflow - 形态:深度文档理解 + 可视化编排,强调解析质量与可追溯引用。
- 适合看:
- 复杂
PDF/表格的解析流水线; - 切片模板与可视化调试;
- 检索与引用的产品化呈现。
- 复杂
- 许可:
Apache-2.0(以仓库为准)。
1.3 Dify
- 仓库:
https://github.com/langgenius/dify - 形态:
LLM应用平台,内置知识库、工作流、Agent。 - 适合看:
- 知识库产品化:分段、召回测试、命中测试;
- 工作流编排;
- 多模型接入与插件体系。
- 许可:
API可能返回NOASSERTION,使用前确认仓库LICENSE与附加条款。
1.4 FastGPT
- 仓库:
https://github.com/labring/FastGPT - 形态:知识库问答 + 工作流,中文社区活跃。
- 适合看:
- 知识库训练/索引流程;
- 混合检索与重排配置;
- 引用与对话产品化。
- 许可:需以仓库为准。
1.5 框架层
| 项目 | 仓库 | 适合看 | 许可(以仓库为准) |
|---|---|---|---|
LangChain | https://github.com/langchain-ai/langchain | 组件抽象、链式编排 | MIT |
LlamaIndex | https://github.com/run-llama/llama_index | 索引、检索器、查询引擎 | MIT |
Haystack | https://github.com/deepset-ai/haystack | 管道式 RAG、生产部署 | Apache-2.0 |
框架适合快速验证,不适合直接照搬架构。它们要兼容大量场景,抽象层往往比你的业务需要更厚。
2、检索与向量库
| 项目 | 仓库 | 特点 |
|---|---|---|
Qdrant | https://github.com/qdrant/qdrant | Rust,过滤与混合检索能力强,Apache-2.0 |
Milvus | https://github.com/milvus-io/milvus | 分布式、大规模,生态完整 |
Weaviate | https://github.com/weaviate/weaviate | 内置混合检索与模块化向量化 |
pgvector | https://github.com/pgvector/pgvector | PostgreSQL 扩展,事务/SQL 友好 |
Chroma | https://github.com/chroma-core/chroma | 轻量、开发体验好 |
FAISS | https://github.com/facebookresearch/faiss | 向量检索库,不是数据库 |
Elasticsearch / OpenSearch | 官方仓库 | BM25 + 向量,日志/搜索场景成熟 |
选型不要只看基准测试的 QPS。要看:
- 过滤能力(权限、租户、时间);
- 混合检索;
- 更新/删除;
- 备份与运维;
- 成本与团队熟悉度。
3、嵌入与重排模型
| 项目 | 仓库 | 说明 |
|---|---|---|
FlagEmbedding | https://github.com/FlagOpen/FlagEmbedding | BGE 系列,含 BGE-M3(稠密+稀疏+多向量)与重排模型,MIT |
sentence-transformers | https://github.com/UKPLab/sentence-transformers | 常用嵌入/重排封装 |
MTEB | https://github.com/embeddings-benchmark/mteb | 嵌入模型评测基准 |
BEIR | https://github.com/beir-cellar/beir | 跨领域检索基准 |
模型选择要看:语言、领域、维度、最大长度、是否支持稀疏/多向量、许可证、推理成本。排行榜分数不等于你的业务效果,必须用自有评估集验证。
4、文档解析
| 项目 | 仓库 | 适用 |
|---|---|---|
PyMuPDF | https://github.com/pymupdf/PyMuPDF | 文本型 PDF 快速抽取、坐标定位 |
Docling | https://github.com/docling-project/docling | 版面分析、表格、多格式 |
MinerU | https://github.com/opendatalab/MinerU | 中文 PDF、公式、扫描件 |
Unstructured | https://github.com/Unstructured-IO/unstructured | 多格式统一分区 |
PaddleOCR | https://github.com/PaddlePaddle/PaddleOCR | 中文 OCR |
Tesseract | https://github.com/tesseract-ocr/tesseract | 通用 OCR 基线 |
解析质量决定 RAG 上限。先用 20–50 份真实文档做横向对比,不要只看 README 的示例。
5、高级检索与图谱
| 项目/论文 | 地址 | 说明 |
|---|---|---|
RAPTOR | https://github.com/parthsarthi03/raptor | 递归摘要树,适合全局总结 |
GraphRAG | https://github.com/microsoft/graphrag | 实体图 + 社区摘要,局部/全局查询 |
LightRAG | https://github.com/HKUDS/LightRAG | 轻量图 + 向量混合 |
Self-RAG | https://github.com/AkariAsai/self-rag | 自反思检索,需专门模型 |
CRAG | https://github.com/HuskyInSalt/CRAG | 检索评估 + 纠正 |
ColPali | https://github.com/illuin-tech/colpali | 页面图像多向量检索 |
这些项目的 README 通常只展示理想场景。引入前重点看:索引成本、增量更新、失败模式、许可证。
6、评估
| 项目 | 仓库 | 说明 |
|---|---|---|
Ragas | https://github.com/explodinggradients/ragas | RAG 指标集 |
DeepEval | https://github.com/confident-ai/deepeval | pytest 风格评估与回归 |
TruLens | https://github.com/truera/trulens | 追踪与反馈函数 |
Phoenix | https://github.com/Arize-ai/phoenix | 链路追踪与评估可视化 |
工具的指标定义会随版本变化。固定版本、固定 judge、固定数据集,否则历史分数不可比。
7、论文与基准
7.1 基础
- Lewis et al., Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, 2020 —
RAG的起点。 - Karpukhin et al., Dense Passage Retrieval for Open-Domain Question Answering, 2020 — 双塔稠密检索。
- Robertson & Zaragoza, The Probabilistic Relevance Framework: BM25 and Beyond, 2009 —
BM25。 - Cormack et al., Reciprocal Rank Fusion Outperforms Condorcet and Individual Rank Learning Methods, 2009 —
RRF。 - Khattab & Zaharia, ColBERT, 2020 — 后期交互。
7.2 查询与生成
- Gao et al., Precise Zero-Shot Dense Retrieval without Relevance Labels(
HyDE), 2022。 - Asai et al., Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection, 2023。
- Yan et al., Corrective Retrieval Augmented Generation(
CRAG), 2024。 - Jiang et al., FLARE: Active Retrieval Augmented Generation, 2023。
7.3 索引与结构
- Sarthi et al., RAPTOR: Recursive Abstractive Processing for Tree-Organized Retrieval, 2024。
- Edge et al., From Local to Global: A Graph RAG Approach to Query-Focused Summarization, 2024。
- Günther et al., Late Chunking: Contextual Chunk Embeddings Using Long-Context Embedding Models, 2024。
- Anthropic, Contextual Retrieval, 2024 — 上下文增强嵌入与
BM25的工程报告。
7.4 长上下文与位置偏差
- Liu et al., Lost in the Middle: How Language Models Use Long Contexts, 2023。
7.5 基准
| 基准 | 用途 |
|---|---|
BEIR | 跨领域零样本检索 |
MTEB / C-MTEB | 嵌入模型评测 |
KILT | 知识密集型任务统一评测 |
Natural Questions / HotpotQA / 2WikiMultiHopQA | 单跳/多跳问答 |
RGB | 中文 RAG 能力评测(噪声鲁棒、拒答、信息整合) |
CRUD-RAG | 中文长文本 RAG 评测 |
公开基准用于选型和横向比较,不能替代业务评估集。
8、怎么读一个开源 RAG 项目
不要从 main.go 或 app.py 开始逐行读。按数据流找入口:
text
1. 上传接口:文件怎么存、返回什么、是否异步
2. 任务表/队列:状态字段、重试、幂等
3. 解析服务:输入输出格式、错误处理
4. 切分:策略、参数、元数据
5. 嵌入:批大小、重试、模型配置
6. 索引:写入、删除、版本
7. 检索:多路、融合、过滤
8. 重排:候选数、阈值、降级
9. 组装:证据格式、预算
10. 生成:提示词、流式、引用
11. 持久化:消息、引用、完成信号
12. 测试:失败路径覆盖了哪些读的时候带着问题:
- 失败时状态是什么?
- 重复执行会怎样?
- 删除/更新怎么传播?
- 权限在哪里过滤?
- 超时和重试怎么设置?
- 哪些是“当前实现”,哪些是“文档里的目标设计”?
9、学习路线
9.1 三天入门
| 天 | 读什么 | 做什么 |
|---|---|---|
| 第 1 天 | 01 白话、02 原理地图 | 画出离线/在线两条链 |
| 第 2 天 | 03 最小实现 | 跑通示例,改切分参数看效果 |
| 第 3 天 | 04、05 | 用自己的文档建索引 |
9.2 两周工程
- 第 1 周:混合召回 +
RRF+ 重排,建立 50 条评估集; - 第 2 周:引用、拒答、流式、失败处理,补监控。
9.3 深入架构
10、资料使用建议
- 先跑再读:先让一个最小系统跑起来,再看框架源码;
- 对照读:同一个环节看两个项目怎么实现,差异往往就是设计取舍;
- 看测试:测试比
README更能说明边界条件; - 看提交历史:最近的修复往往暴露真实坑;
- 不迷信架构图:以代码和数据流为准;
- 记录版本:今天读到的行为,下个版本可能就变了。
11、检查清单
- 选定的开源项目已确认许可证与商用条件;
- 知道它的索引/检索/生成入口在哪;
- 读过失败路径与测试;
- 用自有文档验证过解析质量;
- 用自有评估集验证过检索与生成;
- 记录了版本与配置;
- 有替代方案,避免被单一项目锁死。
12、一句话总结
开源项目最好的用法不是“部署一个”,而是把它当成一份可执行的架构文档:对照数据流读,带着失败问题读,最后用自己的评估集判断它是否适合你的场景。
回到 专题导读。
评论
正在加载评论…