数据摄取:从文档到可检索的证据
RAG 的效果上限,在文档进入索引的那一刻就基本确定了。解析丢了表格、切分切断了答案、旧版本没有删除,后面的重排和模型都救不回来。
这一篇按流水线拆:解析 → 结构化 → 切分 → 增强 → 元数据 → 增量与删除。
1、摄取的最终产出
不是“一堆文本”,而是一组满足契约的 chunk:
{
"chunk_id": "doc_42:v3:c0017",
"doc_id": "doc_42",
"version": 3,
"text": "一线城市住宿标准为每晚上限 600 元,其他城市 400 元。",
"heading_path": ["差旅管理", "住宿标准"],
"page": 12,
"start": 1840,
"end": 1902,
"source": "s3://kb/tenant-a/travel-policy-v3.pdf",
"acl": ["tenant:a", "group:finance"],
"content_hash": "sha256:9f2c...",
"effective_from": "2026-01-01"
}判断摄取做得好不好,只看四个问题:
- 这段文字语义完整吗?
- 能回到原文位置吗?
- 带够过滤和版本信息吗?
- 文档更新或删除时,旧块能准确清理吗?
2、解析:先搞清楚 PDF 是哪一种
PDF 是一种文件格式,但内部内容和版面可能很不同,以下类型也可能同时出现:
| 类型 | 特征 | 处理方式 | 主要风险 |
|---|---|---|---|
文本层 PDF | 可以选中文字 | 直接抽取文本与坐标 | 双栏顺序、页眉页脚、脚注混入 |
| 扫描件 | 整页是图片 | OCR | 识别错误、置信度低、无版面 |
| 混合型 | 部分页有文本层 | 逐页判断,必要时 OCR | 同一文档两套质量 |
| 复杂版面 | 多栏、表格、公式、图注 | 版面分析 + 结构化抽取 | 阅读顺序错、表格被拉平 |
一个常见的错误是:拿一个纯文本抽取库处理扫描件,得到满页乱码,然后在检索层疯狂调参。解析问题必须在解析层解决。
2.1 解析质量怎么量
不要只看“能不能读出字”。至少检查五项:
- 字符准确率:抽样对比原文,统计错字/漏字;
- 阅读顺序:双栏是否按左栏到右栏,而不是左右交错;
- 结构保留:标题层级、列表、表格行列是否还在;
- 定位能力:每个块能否映射回页码和坐标;
- 覆盖率:图片、公式、脚注是否被丢弃。
最实用的方法是固定 20 份最难的文件做回归集,每次换解析器都跑一遍,人工看差异。自动指标只能辅助。
2.2 常见工具与边界
| 工具 | 擅长 | 注意 |
|---|---|---|
PyMuPDF | 文本层抽取、坐标、渲染 | 不负责复杂版面理解 |
Docling | PDF/Word/HTML 结构化、表格、版面 | 复杂扫描件仍需 OCR,输出要抽查 |
MinerU | 中文 PDF、公式、表格 | 许可证与模型权重条款需自行核对 |
Unstructured | 多格式分区、元素类型 | 不同版本行为差异大,固定版本 |
Tesseract / PaddleOCR | OCR | 中文、手写、低质量扫描差异明显 |
云文档解析 API | 开箱即用、版面能力强 | 数据出域、成本、配额、供应商锁定 |
选型时先问:文档里最贵的信息是什么?如果是表格和数字,就优先保证表格结构;如果是合同条款,就优先保证段落完整和页码定位。
2.3 结构化中间表示
建议解析后先落一份与向量库无关的中间结果:
{
"doc_id": "doc_42",
"version": 3,
"blocks": [
{"type": "heading", "level": 1, "text": "差旅管理", "page": 11},
{"type": "heading", "level": 2, "text": "住宿标准", "page": 12},
{"type": "paragraph", "text": "一线城市住宿标准为每晚上限 600 元……", "page": 12, "bbox": [72, 180, 523, 246]},
{"type": "table", "rows": [["城市级别", "上限"], ["一线", "600"], ["其他", "400"]], "page": 12}
]
}好处:
- 换嵌入模型或切分策略时,不必重新解析;
- 可以单独评估解析质量;
- 表格、图片、公式可以走不同处理路径;
- 出问题时能对比“原文 → 中间表示 → 块”。
3、切分:在语义和精度之间取舍
3.1 为什么必须切
- 嵌入模型有输入长度上限;
- 块太大,一个向量代表多个主题,检索被“平均”掉;
- 块太小,缺少上下文,模型看不懂“它”“上述标准”指什么;
- 引用需要粒度,整章引用等于没引用。
3.2 策略谱系
| 策略 | 做法 | 适合 | 局限 |
|---|---|---|---|
| 固定长度 | 每 N 字符/token 切,带重叠 | 快速基线、纯文本 | 切断句子和表格 |
| 递归分隔符 | 先按段落,再按句子,最后按字符 | 通用文本 | 不懂文档结构 |
| 结构感知 | 按标题层级、列表、表格切 | 制度、手册、技术文档 | 依赖解析质量 |
| 语义切分 | 相邻句子向量差异大时切 | 长叙述、边界模糊 | 成本高、不稳定 |
| 父子块 | 子块检索,父块补充上下文 | 需要精确定位又要上下文 | 存储与合并复杂 |
| 句子窗口 | 命中句子,扩展前后 N 句 | 问答密集的文档 | 窗口大小难统一 |
| 后期切分 | 先编码整篇,再按 token 池化 | 长文档、上下文依赖强 | 实现复杂、模型支持有限 |
实际系统通常是组合:结构感知优先,超长再递归,表格/代码单独处理,检索后做父块或邻接扩展。
3.3 块大小与重叠
没有万能值。可以从这些起点做实验:
- 中文制度/手册:300–600 字,重叠 50–100 字;
- 技术文档:按标题切,单块不超过 800 字;
FAQ:一问一答为一块,不要拆;- 合同:按条款切,保留条款号;
- 代码:按函数/类切,保留文件路径和签名。
注意“字符”与“token”的区别。512 字符的中文大约可能是 300–500 token,具体取决于分词器。生产配置应记录单位,避免把“512 token”写成“512 字符”后无法复现。
重叠不是越大越好:重叠过多会让重复内容占据 top-k,也会增加索引体积。父块/邻接扩展通常比盲目重叠更有效。
3.4 特殊内容
- 表格:按行组切,保留表头;不要把整张表拉平成一句。
- 代码:按函数/类切,保留语言、文件路径、导入;块内不要截断括号。
- 问答对:问题与答案必须同块;可以把问题复制进检索文本。
- 公式:保留
LaTeX或图片,并附上下文说明。 - 图片:单独
OCR/图注/多模态描述,记录图片位置。 - 页眉页脚:解析阶段就去掉,别让“第 3 页 共 20 页”进入每个块。
4、上下文增强:让块“自带解释”
短块“每晚 600 元”缺少适用范围。三种补法的关键区别是 什么时候补、补进哪里:
| 方法 | 使用要点 |
|---|---|
| 标题 / Contextual Retrieval | 嵌入前拼上标题或生成说明;生成失败回退原块,原文独立保存 |
| 后期切分(late chunking) | 先编码长窗口,再按块边界池化 token 表示;需要模型支持 |
| 父子块 | 子块用于找,命中后取父段用于读;引用仍定位实际子块,避免父子重复占候选 |
Contextual Retrieval 原始实验报告失败率相对下降 35% / 49% / 67%(逐步加入上下文嵌入、关键词和重排);这是特定实验,不是本项目准确率增幅。
5、元数据:检索前过滤的依据
最少要有:
| 字段 | 用途 |
|---|---|
doc_id / chunk_id | 定位与引用 |
version | 区分新旧版本 |
tenant_id / acl | 权限过滤 |
source / page / bbox | 回到原文 |
content_hash | 去重、幂等、变更检测 |
heading_path | 语义补充与展示 |
lang | 多语言检索与分词 |
effective_from / effective_to | 时效性判断 |
doc_type | 不同文档类型走不同策略 |
status | 只检索可用版本 |
一个常被忽略的点:权限过滤必须发生在检索前或检索时,不能先召回再在应用层删掉。否则候选数量、分数、甚至响应时间都会泄露“存在一份你看不到的文档”。
6、增量摄取:不要每次都全量重建
全量重建简单,但文档一多就不可行:耗时、烧钱、期间索引可能不一致。
6.1 变更检测
- 文件内容哈希:最可靠,能发现“文件名没变但内容变了”;
- 修改时间 + 大小:便宜,但可能漏判;
- 业务事件:上游系统主动通知,最及时;
- 定期全量对账:兜底,发现漂移。
6.2 更新流程
检测变更
→ 创建新文档版本(不覆盖旧版本)
→ 解析/切分/嵌入新版本
→ 写入新版本块(带 version)
→ 校验数量与抽样
→ 原子切换“当前版本”指针
→ 异步清理旧版本块关键原则:先写新,再切指针,最后删旧。 任何一步失败,旧版本仍然可用。
6.3 删除
删除比新增更容易出错。要处理:
- 文档记录删除,但向量库还有块;
- 块删了,但缓存/关键词索引还有;
- 删除任务失败,重试时已经找不到记录;
- 多租户共享文档,一个租户删除不应影响另一个。
推荐用“墓碑 + 异步清理”:先把文档标记为 deleting,检索立即过滤掉;再由后台任务分批删除各存储中的块;全部成功后移除记录。清理失败要保留墓碑并告警,不能假装成功。
6.4 幂等
同一份文件重复上传、同一个任务重复执行,都不应产生重复块。做法:
- 用
doc_id + version + chunk_index或内容哈希作为唯一键; - 写入用
upsert,不是盲目insert; - 任务带
attempt/job_id,旧轮次的结果不能覆盖新轮次; - 删除与重建要有先后顺序,避免旧任务把新块删掉。
这部分在真实系统里非常容易出 bug,08 全链路 有更细的案例。
7、状态机:文档不是“处理中/完成”两个状态
一个够用的状态集:
文字版状态变化(方便复制与辅助阅读)
pending 进入 processing,依次经过 indexing、finalizing 到达 completed。processing、indexing、finalizing 任一阶段失败进入 failed;processing 和 indexing 还可以取消进入 cancelled。completed 或 failed 都进入 deleting,清理完成后到达 deleted。
pending 是入口,cancelled 与 deleted 是终态;failed 不会自己恢复,重试由任务系统创建新一轮处理。再加上几个正交维度:
enabled:是否允许被检索;index_version:当前检索用的是哪版;enhancement_pending:摘要/图片/图谱等增强任务还剩多少;attempt:第几轮处理,用于隔离旧任务。
“正文已索引”与“所有增强完成”是两个时间点。用户能搜到内容,不代表摘要已生成;反过来,增强失败也不应让可用正文全部失效。策略要明确:核心检索成功即可用,增强失败降级并告警。
8、重试与补偿
摄取链路跨多个存储,没有全局事务,只能靠补偿:
- 文件已存、数据库写失败 → 删除文件;
- 块已写、索引失败 → 删除块或标记不可用,任务重试;
- 索引成功、状态更新失败 → 对账任务修复;
- 删除部分成功 → 保留墓碑,继续重试。
重试要区分:
- 可重试:网络超时、限流、临时 5xx;
- 不可重试:文件损坏、格式不支持、权限拒绝;
- 需要人工:解析结果为空、模型持续失败。
退避策略要有上限和抖动,避免大量任务同时重试打垮下游。
9、质量检查清单
上线前至少抽查:
- 随机 20 个块,是否能回到原文;
- 表格块是否保留表头与行列;
- 跨页段落是否被正确合并;
- 页眉页脚、页码是否被清除;
- 标题路径是否正确;
- 同一文档重复上传是否产生重复块;
- 删除文档后,向量/关键词/缓存是否都不可检索;
- 旧版本是否在新版本切换后不可检索;
- 不同租户是否互相不可见;
- 解析失败的文档是否有明确状态和告警。
10、常见故障与修复
| 症状 | 可能原因 | 修复 |
|---|---|---|
| 检索总是命中同一段 | 块太大或重叠过多 | 缩小块、去重、结构切分 |
| 答案缺少关键数字 | 表格被拉平/截断 | 表格结构化、按行组切 |
| 指代看不懂 | 块太小、缺标题 | 标题路径、父子块、邻接扩展 |
| 旧制度仍被引用 | 删除/版本切换失败 | 墓碑、版本过滤、对账 |
| 扫描件全是乱码 | 未走 OCR | 按页判断、OCR + 置信度 |
| 双栏文档顺序错 | 解析阅读顺序错误 | 版面分析、按栏排序 |
重复内容占满 top-k | 多版本/多副本 | 内容哈希去重、版本过滤 |
| 越权检索 | 检索后才过滤 | 元数据前置过滤 |
11、一句话总结
摄取不是“把文件转成文本”,而是生产可追溯、可过滤、可更新、可删除的证据单元。这一层的质量,决定了后面所有环节的天花板。
下一步:05 向量化与索引,看这些块如何变成可快速查找的向量与索引。
评论
正在加载评论…