08. 训练微调与推理部署

1. 选择改变模型的方式

• Prompt：改变当前任务的指令，成本最低。
• RAG：补充外部事实，适合频繁变化和需要引用的知识。
• LoRA/Adapter：低成本改变领域风格、格式和行为。
• 全量微调：改变大量参数，成本和灾难性遗忘风险更高。
• 继续预训练：让模型适应领域语言，数据和算力要求高。

先用 prompt 和 RAG 验证需求，只有稳定的行为差距才考虑微调。微调不能替代权限、事实更新和工具校验。

2. 训练工程

固定数据、配置、代码、模型初始权重和随机种子；记录 checkpoint、验证指标、显存、吞吐和失败原因。训练集之外保留一份不参与调参的测试集。模型卡应说明训练数据范围、已知限制、许可证和安全评估。

3. 推理优化

批处理、KV cache、连续 batching、量化、张量并行和 speculative decoding 可以降低成本或延迟，但会带来精度、显存和运维复杂度。先用真实请求做 p50/p95、吞吐、首 token 延迟和总 token 延迟基线。

4. 部署形态

云 API 适合快速验证；自托管适合数据边界、成本或定制需求；端侧推理适合离线、低延迟和隐私场景。生产服务要有超时、限流、熔断、版本灰度、回滚和健康检查。

参考：vLLM、SGLang、llama.cpp、TensorRT-LLM。