Skip to content

07. 多模态与生成模型 ​

1、模态地图 ​

  • 视觉理解:分类、检测、分割、OCR、图像问答。
  • 图像生成:扩散模型、文生图、编辑、控制生成。
  • 语音:ASR、TTS、说话人识别、实时对话。
  • 视频:理解、生成、插帧和时空一致性。
  • 跨模态:图文对齐、视觉语言模型、音频语言模型。

不同模态的 token 化、上下文、延迟和质量指标不同,不能把文本 LLM 的评估直接套用。

2、扩散模型直觉 ​

扩散模型先向数据加入噪声,再学习逐步去噪。推理时从噪声开始,依据文本或其他条件生成样本。步数、采样器、条件强度和随机种子都会影响结果。生成图片看似正确时,文字、手指、计数、品牌和空间关系仍需检查。

3、多模态 RAG ​

图片和 PDF 不应只抽取纯文本。保留页面、表格、图像、坐标和 OCR 置信度;回答时引用页码或区域。视觉模型输出要经过 schema 校验和人工抽样,尤其是财务数字和医疗信息。

4、评估与安全 ​

图像/视频评估包括语义一致性、构图、身份一致性、偏见、版权和水印;语音还要看词错率、延迟和说话人隐私。上传文件要限制大小、格式、解析时间和外部 URL,生成内容要保留模型和参数记录。

参考:Hugging Face Diffusers、OpenMMLab MMagic、NVIDIA NeMo。

5、可复现实验:把图片抽取变成可验收结果 ​

不要直接把视觉模型的自然语言输出写入业务库。先要求结构化结果,再检查字段、置信度和原图位置:

python
result = {
    "invoice_total": 128.50,
    "currency": "CNY",
    "page": 1,
    "bbox": [120, 80, 340, 130],
    "confidence": 0.91,
}
assert result["confidence"] >= 0.9
assert len(result["bbox"]) == 4

用 10 张包含旋转、低清和遮挡的图片做人工对照,分别统计字段准确率、漏检率和低置信度转人工比例。两个常见失败是 OCR 把 0 读成 O,以及模型生成不存在的页码;这两类结果都应进入回归集。

深入阅读:高级 RAG。

评论

正在加载评论…