Skip to content

04. 数据工程与 Embedding ​

1. 数据生命周期 ​

text
采集 → 授权与清洗 → 去重 → 标注/切分 → 版本化 → 训练或索引 → 质量监控 → 删除

每条数据都应能回答来源、授权、时间、处理器版本、用途和删除方式。数据质量问题通常比换模型更影响结果。

2. 训练数据 ​

去重、语言识别、毒性和隐私过滤、质量分层、近重复检测和污染检查是基础步骤。合成数据能扩大覆盖,但会复制模型偏差;必须保留人工抽样和真实数据验证。

标注规范要写出正例、负例、边界和“不确定”。标注者之间的一致性比单次标签数量更重要。

3. Embedding ​

Embedding 将文本、图片或实体映射到向量空间,距离近通常表示语义相似。选择模型时看语言覆盖、维度、长度、领域、许可证和推理成本。查询和文档使用不兼容模型会导致检索质量下降;换模型需要重建索引。

向量库提供相似度搜索、过滤、更新和删除。它不能自动解决切分、权限、版本和评估问题。

4. 数据版本 ​

训练集、评估集和索引都要有版本。记录 hash、来源、schema、embedding 模型、切分参数、时间和操作者。增量更新要支持幂等;删除事件要覆盖所有派生缓存。

5、学习任务 ​

  • 对同一批文档做精确去重和近重复去重,比较数量变化。
  • 用两个 embedding 模型建立索引,验证模型不匹配检查。
  • 为一条用户数据删除请求画出派生数据清理链路。

6、可复现实验:检查索引是否可重建 ​

把 Embedding 当成可删除、可重建的派生物,而不是“上传后就永久存在”的黑盒。对一批文档记录以下元数据:document_id、内容 hash、切分参数、模型名和索引版本。然后故意用另一模型查询,观察相似度分布是否明显变化;若变化,查询端和索引端必须同时切换并重建。

python
from hashlib import sha256

text = "报销申请需要直属主管审批。"
record = {
    "document_id": "hr-001",
    "content_hash": sha256(text.encode()).hexdigest(),
    "embedding_model": "model-v1",
    "index_version": "2026-10-18",
}
assert record["content_hash"] == sha256(text.encode()).hexdigest()
print(record)

验收时提交:一份数据字典、一张删除链路图,以及一次“模型不匹配后拒绝查询或重建索引”的运行记录。注意:只删向量库记录而保留缓存、评估集或备份,仍然不算完成删除。

深入阅读:RAG 数据摄取、RAG 向量化与索引、RAG 生产化。

参考:Qdrant、Milvus、FAISS。

评论

正在加载评论…