09. 两周培训计划
目标与分组
每组 2–4 人,选一套虚构或已脱敏的制度文档。两周后交付:可运行 Demo、20 条评估集、失败分析、上线评审表和 10 分钟讲解。禁止使用真实客户隐私。
第 1 周:跑通并解释
| 天 | 任务 | 证据 |
|---|---|---|
| 1 | 读 01,画离线/在线链路 | 一张图、术语解释 |
| 2 | 读 02,检查解析和 chunk | 5 个 chunk 样例 |
| 3 | 跑 05 的 ingest/ask | 终端输出和索引文件 |
| 4 | 比较 dense 与关键词 | 5 条失败问题 |
| 5 | 读 04,加入引用/拒答 | 3 个正例、3 个负例 |
周五复盘:每人用大白话解释“为什么模型不能直接读所有文档”,并指出一个系统边界。
第 2 周:评估并上线思考
| 天 | 任务 | 证据 |
|---|---|---|
| 6 | 读 06,制作 20 条题集 | JSONL 和 gold source |
| 7 | 计算 Recall@k、人工评生成 | 指标表、盲评规则 |
| 8 | 读 07,加入 tenant/version | 权限和回滚图 |
| 9 | 读 08/10,做一次选型辩论 | 方案、反对意见、边界 |
| 10 | 演示、复盘、答辩 | 运行记录、改进 backlog |
讲师检查点
每天只问一个关键问题:证据是什么?第 3 天检查索引删除和重建;第 5 天检查无答案拒答;第 7 天检查指标是否由固定数据集计算;第 9 天检查权限是否在检索前过滤。
评分量表
- 30% 可运行:命令清楚、错误可解释、测试能复现。
- 25% 检索:gold source、指标和失败样本完整。
- 20% 生成:引用支持结论,证据不足会拒答。
- 15% 生产:权限、版本、回滚、监控明确。
- 10% 讲解:不用术语也能说明因果和边界。
复盘模板
text
本次假设:
数据/配置版本:
观察到的失败:
最小根因验证:
改动前后指标:
仍未验证的风险:
下一步只做一件事:
评论
正在加载评论…