07. 多模态与生成模型
1、模态地图
- 视觉理解:分类、检测、分割、
OCR、图像问答。 - 图像生成:扩散模型、文生图、编辑、控制生成。
- 语音:ASR、TTS、说话人识别、实时对话。
- 视频:理解、生成、插帧和时空一致性。
- 跨模态:图文对齐、视觉语言模型、音频语言模型。
不同模态的 token 化、上下文、延迟和质量指标不同,不能把文本 LLM 的评估直接套用。
2、扩散模型直觉
扩散模型先向数据加入噪声,再学习逐步去噪。推理时从噪声开始,依据文本或其他条件生成样本。步数、采样器、条件强度和随机种子都会影响结果。生成图片看似正确时,文字、手指、计数、品牌和空间关系仍需检查。
3、多模态 RAG
图片和 PDF 不应只抽取纯文本。保留页面、表格、图像、坐标和 OCR 置信度;回答时引用页码或区域。视觉模型输出要经过 schema 校验和人工抽样,尤其是财务数字和医疗信息。
4、评估与安全
图像/视频评估包括语义一致性、构图、身份一致性、偏见、版权和水印;语音还要看词错率、延迟和说话人隐私。上传文件要限制大小、格式、解析时间和外部 URL,生成内容要保留模型和参数记录。
参考:Hugging Face Diffusers、OpenMMLab MMagic、NVIDIA NeMo。
5、可复现实验:把图片抽取变成可验收结果
不要直接把视觉模型的自然语言输出写入业务库。先要求结构化结果,再检查字段、置信度和原图位置:
python
result = {
"invoice_total": 128.50,
"currency": "CNY",
"page": 1,
"bbox": [120, 80, 340, 130],
"confidence": 0.91,
}
assert result["confidence"] >= 0.9
assert len(result["bbox"]) == 4用 10 张包含旋转、低清和遮挡的图片做人工对照,分别统计字段准确率、漏检率和低置信度转人工比例。两个常见失败是 OCR 把 0 读成 O,以及模型生成不存在的页码;这两类结果都应进入回归集。
深入阅读:高级 RAG。
评论
正在加载评论…