04. 数据工程与 Embedding

1. 数据生命周期

采集 → 授权与清洗 → 去重 → 标注/切分 → 版本化 → 训练或索引 → 质量监控 → 删除

每条数据都应能回答来源、授权、时间、处理器版本、用途和删除方式。数据质量问题通常比换模型更影响结果。

2. 训练数据

去重、语言识别、毒性和隐私过滤、质量分层、近重复检测和污染检查是基础步骤。合成数据能扩大覆盖，但会复制模型偏差；必须保留人工抽样和真实数据验证。

标注规范要写出正例、负例、边界和“不确定”。标注者之间的一致性比单次标签数量更重要。

3. Embedding

Embedding 将文本、图片或实体映射到向量空间，距离近通常表示语义相似。选择模型时看语言覆盖、维度、长度、领域、许可证和推理成本。查询和文档使用不兼容模型会导致检索质量下降；换模型需要重建索引。

向量库提供相似度搜索、过滤、更新和删除。它不能自动解决切分、权限、版本和评估问题。

4. 数据版本

训练集、评估集和索引都要有版本。记录 hash、来源、schema、embedding 模型、切分参数、时间和操作者。增量更新要支持幂等；删除事件要覆盖所有派生缓存。

学习任务

• 对同一批文档做精确去重和近重复去重，比较数量变化。
• 用两个 embedding 模型建立索引，验证模型不匹配检查。
• 为一条用户数据删除请求画出派生数据清理链路。

参考：Qdrant、Milvus、FAISS。