09. AI 评估、安全与治理

1. 评估分层

• 模型层：知识、推理、代码、视觉或语音基准。
• 任务层：真实业务样本、结构化输出、工具成功率。
• 系统层：检索、路由、延迟、成本、可用性。
• 安全层：越权、提示注入、隐私泄露、危险建议。
• 用户层：完成率、纠正率、投诉、人工接管率。

公开 benchmark 用于横向参考，不能替代脱敏的真实业务测试集。

2. 测试集设计

覆盖正例、负例、边界、长输入、跨语言、旧版本、恶意输入和不可回答问题。每题保存来源、期望行为、风险等级和评审依据。固定数据和配置，避免“换题后指标上涨”。

3. 安全威胁

直接提示注入、间接提示注入、敏感信息泄露、越权检索、工具滥用、供应链风险和模型拒答绕过都需要测试。防护是分层的：身份认证、权限过滤、输入输出校验、工具白名单、人工确认、审计和监控。

4. 治理

为模型和数据建立负责人、用途、版本、许可证、风险等级和下线条件。高风险场景保留人工复核；用户要能知道内容是否由模型生成，并提供纠错和申诉路径。记录足够的审计信息，同时避免不必要保存敏感原文。

5. 上线门槛

至少有回归集、失败样本、风险清单、数据删除方案、依赖扫描、回滚版本、成本上限和事故响应人。没有可解释证据的自动化决策不应直接影响高风险权益。

参考：OWASP Top 10 for LLM Applications、EleutherAI lm-evaluation-harness、HELM。