Skip to content

项目与资料:对照阅读的开源实现 ​

本专题的很多设计来自对真实项目的观察。这一篇给出可对照阅读的仓库、论文与基准,以及怎么读。

时间说明:以下信息以 2026-11 的公开仓库为准。开源项目迭代很快,接口、目录、许可证都可能变化。使用前请以仓库的 LICENSE、README、release 和实际代码为准。本专题不保证任何第三方项目的当前许可、Star 数或维护状态。

特别提醒:部分仓库在 GitHub API 中返回 NOASSERTION(无法识别标准许可证)或未声明许可证。这类项目不能默认可以商用,必须逐一确认。

1、完整的 RAG 应用 ​

1.1 WeKnora(腾讯) ​

  • 仓库:https://github.com/Tencent/WeKnora
  • 形态:Go 编排 + 独立文档解析服务,支持本地/服务端向量库,带会话与流式问答。
  • 适合看:
    • 文档上传 → 解析 → 切分 → 索引 → 检索 → 生成的全链路;
    • 异步任务、状态机、失败重试;
    • SSE 流式、停止/恢复;
    • 知识库与租户模型。
  • 许可:仓库 LICENSE 状态需自行确认(API 可能返回 NOASSERTION)。
  • 本专题 08 全链路 主要以它为参照,但区分了当前实现与目标设计,不要把它当成唯一标准答案。

1.2 RAGFlow ​

  • 仓库:https://github.com/infiniflow/ragflow
  • 形态:深度文档理解 + 可视化编排,强调解析质量与可追溯引用。
  • 适合看:
    • 复杂 PDF/表格的解析流水线;
    • 切片模板与可视化调试;
    • 检索与引用的产品化呈现。
  • 许可:Apache-2.0(以仓库为准)。

1.3 Dify ​

  • 仓库:https://github.com/langgenius/dify
  • 形态:LLM 应用平台,内置知识库、工作流、Agent。
  • 适合看:
    • 知识库产品化:分段、召回测试、命中测试;
    • 工作流编排;
    • 多模型接入与插件体系。
  • 许可:API 可能返回 NOASSERTION,使用前确认仓库 LICENSE 与附加条款。

1.4 FastGPT ​

  • 仓库:https://github.com/labring/FastGPT
  • 形态:知识库问答 + 工作流,中文社区活跃。
  • 适合看:
    • 知识库训练/索引流程;
    • 混合检索与重排配置;
    • 引用与对话产品化。
  • 许可:需以仓库为准。

1.5 框架层 ​

项目仓库适合看许可(以仓库为准)
LangChainhttps://github.com/langchain-ai/langchain组件抽象、链式编排MIT
LlamaIndexhttps://github.com/run-llama/llama_index索引、检索器、查询引擎MIT
Haystackhttps://github.com/deepset-ai/haystack管道式 RAG、生产部署Apache-2.0

框架适合快速验证,不适合直接照搬架构。它们要兼容大量场景,抽象层往往比你的业务需要更厚。

2、检索与向量库 ​

项目仓库特点
Qdranthttps://github.com/qdrant/qdrantRust,过滤与混合检索能力强,Apache-2.0
Milvushttps://github.com/milvus-io/milvus分布式、大规模,生态完整
Weaviatehttps://github.com/weaviate/weaviate内置混合检索与模块化向量化
pgvectorhttps://github.com/pgvector/pgvectorPostgreSQL 扩展,事务/SQL 友好
Chromahttps://github.com/chroma-core/chroma轻量、开发体验好
FAISShttps://github.com/facebookresearch/faiss向量检索库,不是数据库
Elasticsearch / OpenSearch官方仓库BM25 + 向量,日志/搜索场景成熟

选型不要只看基准测试的 QPS。要看:

  • 过滤能力(权限、租户、时间);
  • 混合检索;
  • 更新/删除;
  • 备份与运维;
  • 成本与团队熟悉度。

3、嵌入与重排模型 ​

项目仓库说明
FlagEmbeddinghttps://github.com/FlagOpen/FlagEmbeddingBGE 系列,含 BGE-M3(稠密+稀疏+多向量)与重排模型,MIT
sentence-transformershttps://github.com/UKPLab/sentence-transformers常用嵌入/重排封装
MTEBhttps://github.com/embeddings-benchmark/mteb嵌入模型评测基准
BEIRhttps://github.com/beir-cellar/beir跨领域检索基准

模型选择要看:语言、领域、维度、最大长度、是否支持稀疏/多向量、许可证、推理成本。排行榜分数不等于你的业务效果,必须用自有评估集验证。

4、文档解析 ​

项目仓库适用
PyMuPDFhttps://github.com/pymupdf/PyMuPDF文本型 PDF 快速抽取、坐标定位
Doclinghttps://github.com/docling-project/docling版面分析、表格、多格式
MinerUhttps://github.com/opendatalab/MinerU中文 PDF、公式、扫描件
Unstructuredhttps://github.com/Unstructured-IO/unstructured多格式统一分区
PaddleOCRhttps://github.com/PaddlePaddle/PaddleOCR中文 OCR
Tesseracthttps://github.com/tesseract-ocr/tesseract通用 OCR 基线

解析质量决定 RAG 上限。先用 20–50 份真实文档做横向对比,不要只看 README 的示例。

5、高级检索与图谱 ​

项目/论文地址说明
RAPTORhttps://github.com/parthsarthi03/raptor递归摘要树,适合全局总结
GraphRAGhttps://github.com/microsoft/graphrag实体图 + 社区摘要,局部/全局查询
LightRAGhttps://github.com/HKUDS/LightRAG轻量图 + 向量混合
Self-RAGhttps://github.com/AkariAsai/self-rag自反思检索,需专门模型
CRAGhttps://github.com/HuskyInSalt/CRAG检索评估 + 纠正
ColPalihttps://github.com/illuin-tech/colpali页面图像多向量检索

这些项目的 README 通常只展示理想场景。引入前重点看:索引成本、增量更新、失败模式、许可证。

6、评估 ​

项目仓库说明
Ragashttps://github.com/explodinggradients/ragasRAG 指标集
DeepEvalhttps://github.com/confident-ai/deepevalpytest 风格评估与回归
TruLenshttps://github.com/truera/trulens追踪与反馈函数
Phoenixhttps://github.com/Arize-ai/phoenix链路追踪与评估可视化

工具的指标定义会随版本变化。固定版本、固定 judge、固定数据集,否则历史分数不可比。

7、论文与基准 ​

7.1 基础 ​

  • Lewis et al., Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, 2020 — RAG 的起点。
  • Karpukhin et al., Dense Passage Retrieval for Open-Domain Question Answering, 2020 — 双塔稠密检索。
  • Robertson & Zaragoza, The Probabilistic Relevance Framework: BM25 and Beyond, 2009 — BM25。
  • Cormack et al., Reciprocal Rank Fusion Outperforms Condorcet and Individual Rank Learning Methods, 2009 — RRF。
  • Khattab & Zaharia, ColBERT, 2020 — 后期交互。

7.2 查询与生成 ​

  • Gao et al., Precise Zero-Shot Dense Retrieval without Relevance Labels(HyDE), 2022。
  • Asai et al., Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection, 2023。
  • Yan et al., Corrective Retrieval Augmented Generation(CRAG), 2024。
  • Jiang et al., FLARE: Active Retrieval Augmented Generation, 2023。

7.3 索引与结构 ​

  • Sarthi et al., RAPTOR: Recursive Abstractive Processing for Tree-Organized Retrieval, 2024。
  • Edge et al., From Local to Global: A Graph RAG Approach to Query-Focused Summarization, 2024。
  • Günther et al., Late Chunking: Contextual Chunk Embeddings Using Long-Context Embedding Models, 2024。
  • Anthropic, Contextual Retrieval, 2024 — 上下文增强嵌入与 BM25 的工程报告。

7.4 长上下文与位置偏差 ​

  • Liu et al., Lost in the Middle: How Language Models Use Long Contexts, 2023。

7.5 基准 ​

基准用途
BEIR跨领域零样本检索
MTEB / C-MTEB嵌入模型评测
KILT知识密集型任务统一评测
Natural Questions / HotpotQA / 2WikiMultiHopQA单跳/多跳问答
RGB中文 RAG 能力评测(噪声鲁棒、拒答、信息整合)
CRUD-RAG中文长文本 RAG 评测

公开基准用于选型和横向比较,不能替代业务评估集。

8、怎么读一个开源 RAG 项目 ​

不要从 main.go 或 app.py 开始逐行读。按数据流找入口:

text
1. 上传接口:文件怎么存、返回什么、是否异步
2. 任务表/队列:状态字段、重试、幂等
3. 解析服务:输入输出格式、错误处理
4. 切分:策略、参数、元数据
5. 嵌入:批大小、重试、模型配置
6. 索引:写入、删除、版本
7. 检索:多路、融合、过滤
8. 重排:候选数、阈值、降级
9. 组装:证据格式、预算
10. 生成:提示词、流式、引用
11. 持久化:消息、引用、完成信号
12. 测试:失败路径覆盖了哪些

读的时候带着问题:

  • 失败时状态是什么?
  • 重复执行会怎样?
  • 删除/更新怎么传播?
  • 权限在哪里过滤?
  • 超时和重试怎么设置?
  • 哪些是“当前实现”,哪些是“文档里的目标设计”?

9、学习路线 ​

9.1 三天入门 ​

天读什么做什么
第 1 天01 白话、02 原理地图画出离线/在线两条链
第 2 天03 最小实现跑通示例,改切分参数看效果
第 3 天04、05用自己的文档建索引

9.2 两周工程 ​

  • 第 1 周:混合召回 + RRF + 重排,建立 50 条评估集;
  • 第 2 周:引用、拒答、流式、失败处理,补监控。

9.3 深入架构 ​

10、资料使用建议 ​

  1. 先跑再读:先让一个最小系统跑起来,再看框架源码;
  2. 对照读:同一个环节看两个项目怎么实现,差异往往就是设计取舍;
  3. 看测试:测试比 README 更能说明边界条件;
  4. 看提交历史:最近的修复往往暴露真实坑;
  5. 不迷信架构图:以代码和数据流为准;
  6. 记录版本:今天读到的行为,下个版本可能就变了。

11、检查清单 ​

  • 选定的开源项目已确认许可证与商用条件;
  • 知道它的索引/检索/生成入口在哪;
  • 读过失败路径与测试;
  • 用自有文档验证过解析质量;
  • 用自有评估集验证过检索与生成;
  • 记录了版本与配置;
  • 有替代方案,避免被单一项目锁死。

12、一句话总结 ​

开源项目最好的用法不是“部署一个”,而是把它当成一份可执行的架构文档:对照数据流读,带着失败问题读,最后用自己的评估集判断它是否适合你的场景。

回到 专题导读。

评论

正在加载评论…