Skip to content

数据摄取:从文档到可检索的证据 ​

RAG 的效果上限,在文档进入索引的那一刻就基本确定了。解析丢了表格、切分切断了答案、旧版本没有删除,后面的重排和模型都救不回来。

这一篇按流水线拆:解析 → 结构化 → 切分 → 增强 → 元数据 → 增量与删除。

1、摄取的最终产出 ​

不是“一堆文本”,而是一组满足契约的 chunk:

json
{
  "chunk_id": "doc_42:v3:c0017",
  "doc_id": "doc_42",
  "version": 3,
  "text": "一线城市住宿标准为每晚上限 600 元,其他城市 400 元。",
  "heading_path": ["差旅管理", "住宿标准"],
  "page": 12,
  "start": 1840,
  "end": 1902,
  "source": "s3://kb/tenant-a/travel-policy-v3.pdf",
  "acl": ["tenant:a", "group:finance"],
  "content_hash": "sha256:9f2c...",
  "effective_from": "2026-01-01"
}

判断摄取做得好不好,只看四个问题:

  1. 这段文字语义完整吗?
  2. 能回到原文位置吗?
  3. 带够过滤和版本信息吗?
  4. 文档更新或删除时,旧块能准确清理吗?

2、解析:先搞清楚 PDF 是哪一种 ​

PDF 是一种文件格式,但内部内容和版面可能很不同,以下类型也可能同时出现:

类型特征处理方式主要风险
文本层 PDF可以选中文字直接抽取文本与坐标双栏顺序、页眉页脚、脚注混入
扫描件整页是图片OCR识别错误、置信度低、无版面
混合型部分页有文本层逐页判断,必要时 OCR同一文档两套质量
复杂版面多栏、表格、公式、图注版面分析 + 结构化抽取阅读顺序错、表格被拉平

一个常见的错误是:拿一个纯文本抽取库处理扫描件,得到满页乱码,然后在检索层疯狂调参。解析问题必须在解析层解决。

2.1 解析质量怎么量 ​

不要只看“能不能读出字”。至少检查五项:

  • 字符准确率:抽样对比原文,统计错字/漏字;
  • 阅读顺序:双栏是否按左栏到右栏,而不是左右交错;
  • 结构保留:标题层级、列表、表格行列是否还在;
  • 定位能力:每个块能否映射回页码和坐标;
  • 覆盖率:图片、公式、脚注是否被丢弃。

最实用的方法是固定 20 份最难的文件做回归集,每次换解析器都跑一遍,人工看差异。自动指标只能辅助。

2.2 常见工具与边界 ​

工具擅长注意
PyMuPDF文本层抽取、坐标、渲染不负责复杂版面理解
DoclingPDF/Word/HTML 结构化、表格、版面复杂扫描件仍需 OCR,输出要抽查
MinerU中文 PDF、公式、表格许可证与模型权重条款需自行核对
Unstructured多格式分区、元素类型不同版本行为差异大,固定版本
Tesseract / PaddleOCROCR中文、手写、低质量扫描差异明显
云文档解析 API开箱即用、版面能力强数据出域、成本、配额、供应商锁定

选型时先问:文档里最贵的信息是什么?如果是表格和数字,就优先保证表格结构;如果是合同条款,就优先保证段落完整和页码定位。

2.3 结构化中间表示 ​

建议解析后先落一份与向量库无关的中间结果:

json
{
  "doc_id": "doc_42",
  "version": 3,
  "blocks": [
    {"type": "heading", "level": 1, "text": "差旅管理", "page": 11},
    {"type": "heading", "level": 2, "text": "住宿标准", "page": 12},
    {"type": "paragraph", "text": "一线城市住宿标准为每晚上限 600 元……", "page": 12, "bbox": [72, 180, 523, 246]},
    {"type": "table", "rows": [["城市级别", "上限"], ["一线", "600"], ["其他", "400"]], "page": 12}
  ]
}

好处:

  • 换嵌入模型或切分策略时,不必重新解析;
  • 可以单独评估解析质量;
  • 表格、图片、公式可以走不同处理路径;
  • 出问题时能对比“原文 → 中间表示 → 块”。

3、切分:在语义和精度之间取舍 ​

3.1 为什么必须切 ​

  • 嵌入模型有输入长度上限;
  • 块太大,一个向量代表多个主题,检索被“平均”掉;
  • 块太小,缺少上下文,模型看不懂“它”“上述标准”指什么;
  • 引用需要粒度,整章引用等于没引用。

3.2 策略谱系 ​

策略做法适合局限
固定长度每 N 字符/token 切,带重叠快速基线、纯文本切断句子和表格
递归分隔符先按段落,再按句子,最后按字符通用文本不懂文档结构
结构感知按标题层级、列表、表格切制度、手册、技术文档依赖解析质量
语义切分相邻句子向量差异大时切长叙述、边界模糊成本高、不稳定
父子块子块检索,父块补充上下文需要精确定位又要上下文存储与合并复杂
句子窗口命中句子,扩展前后 N 句问答密集的文档窗口大小难统一
后期切分先编码整篇,再按 token 池化长文档、上下文依赖强实现复杂、模型支持有限

实际系统通常是组合:结构感知优先,超长再递归,表格/代码单独处理,检索后做父块或邻接扩展。

3.3 块大小与重叠 ​

没有万能值。可以从这些起点做实验:

  • 中文制度/手册:300–600 字,重叠 50–100 字;
  • 技术文档:按标题切,单块不超过 800 字;
  • FAQ:一问一答为一块,不要拆;
  • 合同:按条款切,保留条款号;
  • 代码:按函数/类切,保留文件路径和签名。

注意“字符”与“token”的区别。512 字符的中文大约可能是 300–500 token,具体取决于分词器。生产配置应记录单位,避免把“512 token”写成“512 字符”后无法复现。

重叠不是越大越好:重叠过多会让重复内容占据 top-k,也会增加索引体积。父块/邻接扩展通常比盲目重叠更有效。

3.4 特殊内容 ​

  • 表格:按行组切,保留表头;不要把整张表拉平成一句。
  • 代码:按函数/类切,保留语言、文件路径、导入;块内不要截断括号。
  • 问答对:问题与答案必须同块;可以把问题复制进检索文本。
  • 公式:保留 LaTeX 或图片,并附上下文说明。
  • 图片:单独 OCR/图注/多模态描述,记录图片位置。
  • 页眉页脚:解析阶段就去掉,别让“第 3 页 共 20 页”进入每个块。

4、上下文增强:让块“自带解释” ​

短块“每晚 600 元”缺少适用范围。三种补法的关键区别是 什么时候补、补进哪里:

上下文在什么时候补进去
上下文在什么时候补进去标题或生成说明在嵌入前补充;后期切分先算长窗口的 token 表示再按块池化;父子块是在命中子块后取父段。原文:差旅管理 › 住宿标准 › 一线城市每晚 600 元短块只有“每晚 600 元”,不知道在说什么嵌入前补标题 / 生成说明 + 短块 → 向量“这是住宿标准” + “每晚 600 元”编码时补长窗口 → token 表示 → 按块池化后期切分,不是切开一个全文向量命中后补子块命中 → 取父段 → 交给生成模型父子块:小块找得准,大段保留条件原文与定位坐标独立保留,不被增强文本覆盖
生成说明可能有误,不是原文事实;后期切分需要模型提供 token 级表示。
方法使用要点
标题 / Contextual Retrieval嵌入前拼上标题或生成说明;生成失败回退原块,原文独立保存
后期切分(late chunking)先编码长窗口,再按块边界池化 token 表示;需要模型支持
父子块子块用于找,命中后取父段用于读;引用仍定位实际子块,避免父子重复占候选

Contextual Retrieval 原始实验报告失败率相对下降 35% / 49% / 67%(逐步加入上下文嵌入、关键词和重排);这是特定实验,不是本项目准确率增幅。

5、元数据:检索前过滤的依据 ​

最少要有:

字段用途
doc_id / chunk_id定位与引用
version区分新旧版本
tenant_id / acl权限过滤
source / page / bbox回到原文
content_hash去重、幂等、变更检测
heading_path语义补充与展示
lang多语言检索与分词
effective_from / effective_to时效性判断
doc_type不同文档类型走不同策略
status只检索可用版本

一个常被忽略的点:权限过滤必须发生在检索前或检索时,不能先召回再在应用层删掉。否则候选数量、分数、甚至响应时间都会泄露“存在一份你看不到的文档”。

6、增量摄取:不要每次都全量重建 ​

全量重建简单,但文档一多就不可行:耗时、烧钱、期间索引可能不一致。

6.1 变更检测 ​

  • 文件内容哈希:最可靠,能发现“文件名没变但内容变了”;
  • 修改时间 + 大小:便宜,但可能漏判;
  • 业务事件:上游系统主动通知,最及时;
  • 定期全量对账:兜底,发现漂移。

6.2 更新流程 ​

text
检测变更
 → 创建新文档版本(不覆盖旧版本)
 → 解析/切分/嵌入新版本
 → 写入新版本块(带 version)
 → 校验数量与抽样
 → 原子切换“当前版本”指针
 → 异步清理旧版本块

关键原则:先写新,再切指针,最后删旧。 任何一步失败,旧版本仍然可用。

6.3 删除 ​

删除比新增更容易出错。要处理:

  • 文档记录删除,但向量库还有块;
  • 块删了,但缓存/关键词索引还有;
  • 删除任务失败,重试时已经找不到记录;
  • 多租户共享文档,一个租户删除不应影响另一个。

推荐用“墓碑 + 异步清理”:先把文档标记为 deleting,检索立即过滤掉;再由后台任务分批删除各存储中的块;全部成功后移除记录。清理失败要保留墓碑并告警,不能假装成功。

6.4 幂等 ​

同一份文件重复上传、同一个任务重复执行,都不应产生重复块。做法:

  • 用 doc_id + version + chunk_index 或内容哈希作为唯一键;
  • 写入用 upsert,不是盲目 insert;
  • 任务带 attempt/job_id,旧轮次的结果不能覆盖新轮次;
  • 删除与重建要有先后顺序,避免旧任务把新块删掉。

这部分在真实系统里非常容易出 bug,08 全链路 有更细的案例。

7、状态机:文档不是“处理中/完成”两个状态 ​

一个够用的状态集:

文档摄取状态机:从 pending 到 deleted圆角为入口或终态 · 沿箭头阅读
文档摄取状态机:从 pending 到 deletedpending 进入 processing,依次经过 indexing、finalizing 到达 completed。processing、indexing、finalizing 任一阶段失败进入 failed;processing 和 indexing 还可以取消进入 cancelled。completed 或 failed 都进入 deleting,清理完成后到达 deleted。失败取消pendingpendingprocessingprocessingindexingindexingfinalizingfinalizingcompletedcompletedcancelledcancelledfailedfaileddeletingdeletingdeleteddeleted
pending 是入口,cancelled 与 deleted 是终态。状态名是示意图,不是某个框架的固定枚举;enabled、index_version、attempt 等等正交字段不在图中。图中不画重试:failed 由任务系统重新排队,不会自己回到 pending。
文字版状态变化(方便复制与辅助阅读)

pending 进入 processing,依次经过 indexing、finalizing 到达 completed。processing、indexing、finalizing 任一阶段失败进入 failed;processing 和 indexing 还可以取消进入 cancelled。completed 或 failed 都进入 deleting,清理完成后到达 deleted。

pending 是入口,cancelled 与 deleted 是终态;failed 不会自己恢复,重试由任务系统创建新一轮处理。再加上几个正交维度:

  • enabled:是否允许被检索;
  • index_version:当前检索用的是哪版;
  • enhancement_pending:摘要/图片/图谱等增强任务还剩多少;
  • attempt:第几轮处理,用于隔离旧任务。

“正文已索引”与“所有增强完成”是两个时间点。用户能搜到内容,不代表摘要已生成;反过来,增强失败也不应让可用正文全部失效。策略要明确:核心检索成功即可用,增强失败降级并告警。

8、重试与补偿 ​

摄取链路跨多个存储,没有全局事务,只能靠补偿:

  • 文件已存、数据库写失败 → 删除文件;
  • 块已写、索引失败 → 删除块或标记不可用,任务重试;
  • 索引成功、状态更新失败 → 对账任务修复;
  • 删除部分成功 → 保留墓碑,继续重试。

重试要区分:

  • 可重试:网络超时、限流、临时 5xx;
  • 不可重试:文件损坏、格式不支持、权限拒绝;
  • 需要人工:解析结果为空、模型持续失败。

退避策略要有上限和抖动,避免大量任务同时重试打垮下游。

9、质量检查清单 ​

上线前至少抽查:

  • 随机 20 个块,是否能回到原文;
  • 表格块是否保留表头与行列;
  • 跨页段落是否被正确合并;
  • 页眉页脚、页码是否被清除;
  • 标题路径是否正确;
  • 同一文档重复上传是否产生重复块;
  • 删除文档后,向量/关键词/缓存是否都不可检索;
  • 旧版本是否在新版本切换后不可检索;
  • 不同租户是否互相不可见;
  • 解析失败的文档是否有明确状态和告警。

10、常见故障与修复 ​

症状可能原因修复
检索总是命中同一段块太大或重叠过多缩小块、去重、结构切分
答案缺少关键数字表格被拉平/截断表格结构化、按行组切
指代看不懂块太小、缺标题标题路径、父子块、邻接扩展
旧制度仍被引用删除/版本切换失败墓碑、版本过滤、对账
扫描件全是乱码未走 OCR按页判断、OCR + 置信度
双栏文档顺序错解析阅读顺序错误版面分析、按栏排序
重复内容占满 top-k多版本/多副本内容哈希去重、版本过滤
越权检索检索后才过滤元数据前置过滤

11、一句话总结 ​

摄取不是“把文件转成文本”,而是生产可追溯、可过滤、可更新、可删除的证据单元。这一层的质量,决定了后面所有环节的天花板。

下一步:05 向量化与索引,看这些块如何变成可快速查找的向量与索引。

评论

正在加载评论…