Skip to content

09. 两周培训计划 ​

目标与分组 ​

每组 2–4 人,选一套虚构或已脱敏的制度文档。两周后交付:可运行 Demo、20 条评估集、失败分析、上线评审表和 10 分钟讲解。禁止使用真实客户隐私。

第 1 周:跑通并解释 ​

天任务证据
1读 01,画离线/在线链路一张图、术语解释
2读 02,检查解析和 chunk5 个 chunk 样例
3跑 05 的 ingest/ask终端输出和索引文件
4比较 dense 与关键词5 条失败问题
5读 04,加入引用/拒答3 个正例、3 个负例

周五复盘:每人用大白话解释“为什么模型不能直接读所有文档”,并指出一个系统边界。

第 2 周:评估并上线思考 ​

天任务证据
6读 06,制作 20 条题集JSONL 和 gold source
7计算 Recall@k、人工评生成指标表、盲评规则
8读 07,加入 tenant/version权限和回滚图
9读 08/10,做一次选型辩论方案、反对意见、边界
10演示、复盘、答辩运行记录、改进 backlog

讲师检查点 ​

每天只问一个关键问题:证据是什么?第 3 天检查索引删除和重建;第 5 天检查无答案拒答;第 7 天检查指标是否由固定数据集计算;第 9 天检查权限是否在检索前过滤。

评分量表 ​

  • 30% 可运行:命令清楚、错误可解释、测试能复现。
  • 25% 检索:gold source、指标和失败样本完整。
  • 20% 生成:引用支持结论,证据不足会拒答。
  • 15% 生产:权限、版本、回滚、监控明确。
  • 10% 讲解:不用术语也能说明因果和边界。

复盘模板 ​

text
本次假设:
数据/配置版本:
观察到的失败:
最小根因验证:
改动前后指标:
仍未验证的风险:
下一步只做一件事:

完成后继续阅读 06 评估、07 生产化 和 11 阅读清单。

评论

正在加载评论…