03. 大语言模型

1. 从文本到模型

文本先经过 tokenizer 变成 token ID，模型把 ID 映射为向量，通过 Transformer 计算上下文表示，再输出词表上的概率分布。token 不是字、词或字符的固定等价物；中文、代码和数字的切分方式会影响成本与上下文长度。

2. 三阶段

1. 预训练：用大规模语料做 next-token prediction，获得语言、代码和世界知识的统计表示。
2. 监督微调：用指令-回答样本学习任务格式、角色和输出风格。
3. 偏好对齐：用人类或 AI 偏好信号优化有用、诚实、无害的回答。

对齐提升交互体验，但也可能让模型更倾向于顺从或拒答。事实新鲜度、权限和业务规则仍需外部系统保证。

3. 上下文和推理

上下文窗口是输入输出 token 的预算，不是可靠记忆。系统提示词、用户问题、检索证据、工具结果和历史对话必须分配预算。temperature 改变采样随机性；top-p 截断累计概率；低温度不等于事实正确。

推理时要区分“模型生成的解释”和“可验证证据”。需要精确计算、数据库查询或外部事实时，使用工具或程序校验。

4. 输出契约

生产应用不要只接收自由文本。优先要求结构化 JSON、枚举、引用 ID 或函数参数，并在服务端用 schema 校验。解析失败应重试或拒答，不能把半截 JSON 当成业务指令。

5. 模型选型

比较模型时同时看任务成功率、延迟、上下文、工具调用、成本、许可证、部署方式和数据处理边界。一个更大的模型不一定适合所有请求；可以用小模型做分类、改写和路由，把复杂问题交给强模型。

学习任务

1. 统计一段中文、英文和代码的 token 数，比较成本。
2. 设计一个输出 schema，让模型抽取合同中的主体、金额和日期。
3. 构造一个“模型自信但无证据”的问题，加入检索或工具校验。

参考：Hugging Face Transformers、llama.cpp、Ollama。