07. 多模态与生成模型

模态地图

• 视觉理解：分类、检测、分割、OCR、图像问答。
• 图像生成：扩散模型、文生图、编辑、控制生成。
• 语音：ASR、TTS、说话人识别、实时对话。
• 视频：理解、生成、插帧和时空一致性。
• 跨模态：图文对齐、视觉语言模型、音频语言模型。

不同模态的 token 化、上下文、延迟和质量指标不同，不能把文本 LLM 的评估直接套用。

扩散模型直觉

扩散模型先向数据加入噪声，再学习逐步去噪。推理时从噪声开始，依据文本或其他条件生成样本。步数、采样器、条件强度和随机种子都会影响结果。生成图片看似正确时，文字、手指、计数、品牌和空间关系仍需检查。

多模态 RAG

图片和 PDF 不应只抽取纯文本。保留页面、表格、图像、坐标和 OCR 置信度；回答时引用页码或区域。视觉模型输出要经过 schema 校验和人工抽样，尤其是财务数字和医疗信息。

评估与安全

图像/视频评估包括语义一致性、构图、身份一致性、偏见、版权和水印；语音还要看词错率、延迟和说话人隐私。上传文件要限制大小、格式、解析时间和外部 URL，生成内容要保留模型和参数记录。

参考：Hugging Face Diffusers、OpenMMLab MMagic、NVIDIA NeMo。