04. 数据工程与 Embedding
1. 数据生命周期
text
采集 → 授权与清洗 → 去重 → 标注/切分 → 版本化 → 训练或索引 → 质量监控 → 删除每条数据都应能回答来源、授权、时间、处理器版本、用途和删除方式。数据质量问题通常比换模型更影响结果。
2. 训练数据
去重、语言识别、毒性和隐私过滤、质量分层、近重复检测和污染检查是基础步骤。合成数据能扩大覆盖,但会复制模型偏差;必须保留人工抽样和真实数据验证。
标注规范要写出正例、负例、边界和“不确定”。标注者之间的一致性比单次标签数量更重要。
3. Embedding
Embedding 将文本、图片或实体映射到向量空间,距离近通常表示语义相似。选择模型时看语言覆盖、维度、长度、领域、许可证和推理成本。查询和文档使用不兼容模型会导致检索质量下降;换模型需要重建索引。
向量库提供相似度搜索、过滤、更新和删除。它不能自动解决切分、权限、版本和评估问题。
4. 数据版本
训练集、评估集和索引都要有版本。记录 hash、来源、schema、embedding 模型、切分参数、时间和操作者。增量更新要支持幂等;删除事件要覆盖所有派生缓存。
5、学习任务
- 对同一批文档做精确去重和近重复去重,比较数量变化。
- 用两个
embedding模型建立索引,验证模型不匹配检查。 - 为一条用户数据删除请求画出派生数据清理链路。
6、可复现实验:检查索引是否可重建
把 Embedding 当成可删除、可重建的派生物,而不是“上传后就永久存在”的黑盒。对一批文档记录以下元数据:document_id、内容 hash、切分参数、模型名和索引版本。然后故意用另一模型查询,观察相似度分布是否明显变化;若变化,查询端和索引端必须同时切换并重建。
python
from hashlib import sha256
text = "报销申请需要直属主管审批。"
record = {
"document_id": "hr-001",
"content_hash": sha256(text.encode()).hexdigest(),
"embedding_model": "model-v1",
"index_version": "2026-10-18",
}
assert record["content_hash"] == sha256(text.encode()).hexdigest()
print(record)验收时提交:一份数据字典、一张删除链路图,以及一次“模型不匹配后拒绝查询或重建索引”的运行记录。注意:只删向量库记录而保留缓存、评估集或备份,仍然不算完成删除。
深入阅读:RAG 数据摄取、RAG 向量化与索引、RAG 生产化。
评论
正在加载评论…