03. 大语言模型
1. 一次生成发生了什么
输入文本先经过 tokenizer,得到 token ID;Embedding 把 ID 映射到向量;Transformer 根据上下文计算隐藏状态;最后一个线性层把隐藏状态映射到词表大小的 logits,再经过 softmax 得到下一个 token 的概率。
文本 → token IDs → embedding → Transformer blocks
→ hidden state → logits → sampling → 下一个 token模型生成一个 token 后,把它追加到上下文,再重复这条链路,直到遇到停止条件。所谓“回答一段话”,其实是很多次 next-token prediction。
2. Tokenizer 不是简单的分词
token 可能是一个汉字、半个英文单词、标点、空格或代码片段。BPE 从字符或字节开始,反复合并高频相邻片段,得到有限词表。
分词方式直接影响:
- 上下文长度和
API成本; - 中文、代码、数字的表达效率;
- 训练样本中一个词被拆成多少预测步骤;
Prompt截断位置和RAG片段大小。
from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("gpt2")
text = "函数 calculate_total_price(amount, tax)"
ids = tokenizer.encode(text)
print(ids, len(ids))
print(tokenizer.decode(ids))不要假设“一个字等于一个 token”。实际项目要用目标模型的 tokenizer 测中文、英文、代码、URL 和 JSON。
3. 预训练:学习语言分布
给定 token 序列 x₁, x₂, ..., xₜ,因果语言模型优化:
P(x₁...xₜ) = Πₜ P(xₜ | x₁...xₜ₋₁)损失是所有位置的 next-token 交叉熵平均。模型通过预测下一个 token,间接学到语法、代码模式、知识关联和文本风格;但它没有自动获得实时事实、数据库权限或可靠的因果推理能力。
数据质量比“网页数量”更重要。重复、污染、隐私、版权、错误事实和评测集泄漏都会影响模型。训练集、验证集、测试集与数据去重需要可追踪。
4. 三个训练阶段不要混为一谈
| 阶段 | 数据 | 主要目标 | 常见失败 |
|---|---|---|---|
| 预训练 | 大规模 token | 学语言和世界知识的统计结构 | 数据污染、训练不稳定、知识过时 |
| SFT | 指令-回答对 | 学会按要求回答和使用格式 | 过拟合模板、风格偏移 |
| 偏好优化 | chosen/rejected 或奖励 | 学会取舍、帮助性和拒答边界 | 奖励投机、过度拒答、迎合 |
RLHF 通常包含偏好数据、奖励模型和强化学习;DPO 直接用偏好对优化策略,少一个显式奖励模型。两者都不能保证事实正确,事实仍需要检索、工具和验证。
5. Logits、softmax 与采样
模型输出的是 logits z,不是概率。温度 T 调整分布:
pᵢ = softmax(zᵢ / T)T < 1 让高概率 token 更突出,T > 1 让分布更平坦。top-k 只保留概率最高的 k 个 token;top-p 保留累计概率达到 p 的最小集合。
import torch
def sample(logits, temperature=0.7, top_p=0.9):
logits = logits / temperature
probs = torch.softmax(logits, dim=-1)
sorted_probs, sorted_ids = torch.sort(probs, descending=True)
keep = torch.cumsum(sorted_probs, dim=-1) <= top_p
keep[..., 0] = True
filtered = torch.where(keep, sorted_probs, torch.zeros_like(sorted_probs))
filtered = filtered / filtered.sum(dim=-1, keepdim=True)
picked = torch.multinomial(filtered, 1)
return sorted_ids.gather(-1, picked)低温度只改变随机性,不会自动增加事实正确率;greedy decoding 也可能稳定地产生错误。
6. 上下文窗口不是长期记忆
上下文预算包括系统指令、历史消息、用户输入、检索片段、工具结果和模型输出。输入越长,延迟和成本越高;有效上下文还可能因为注意力稀释而下降。
生产系统要明确:
- 哪些信息必须原文保留;
- 哪些历史可以摘要;
- 哪些知识应该走检索而不是塞进
Prompt; - 工具结果的最大长度和截断策略;
- 超过预算时是压缩、拒答还是分批处理。
7. 推理性能:KV Cache 和量化
自回归生成时,旧 token 的 K/V 不必每次重新计算,可以缓存下来。第 t 步只计算新 token 的 query,再与缓存的 key/value 结合。缓存会占显存,长上下文和并发请求会放大成本。
量化把权重或激活从 FP16/BF16 压到 INT8/INT4 等表示,降低显存和带宽,但可能损失精度。评估量化模型不能只看困惑度,要看真实任务、工具调用、结构化输出和长上下文。
8. 能力、幻觉和工具边界
模型输出是条件概率采样,不是数据库查询。它可能:
- 用流畅语言补齐不存在的事实;
- 把训练数据中的旧信息当成当前事实;
- 在数字计算和长链推理中出错;
- 看似遵守规则,实际绕过权限边界。
解决方法不是把系统提示词写得更长,而是把任务拆开:模型负责理解和选择,程序负责计算、权限、数据库读写和最终校验。
9. 结构化输出与服务端校验
{
"customer": "string",
"amount": 0,
"currency": "CNY",
"confidence": 0.0
}Schema 必须在服务端校验:字段类型、枚举、数值范围、必填项和字符串长度都不能只依赖模型。解析失败时重试或转人工,不能把未经校验的 JSON 直接交给支付、删除或发消息工具。
10. 模型选型和评测
比较模型至少要记录任务成功率、事实正确率、结构化输出通过率、工具调用准确率、延迟、成本、上下文长度、许可证、部署方式和数据边界。
评测集应包含正常样例、边界样例、恶意输入、长上下文、空结果、工具失败和权限拒绝。平均分不能替代分桶分析。
11. 练习与验收
- 用目标模型 tokenizer 比较中文、英文、代码和
JSON的token数。 - 对同一组 logits 比较 greedy、
temperature、top-k、top-p 的输出分布。 - 构造一个模型自信但无证据的问题,分别使用检索和工具校验。
- 设计合同抽取
Schema,故意输入缺字段、超范围金额和非法日期,验证服务端拒绝。 - 比较有无 KV Cache 的生成速度和显存占用。
完成标准:能从文本追踪到 token 概率;能区分预训练、SFT 和偏好优化;能解释温度、top-k、top-p 和 KV Cache;能说明为什么结构化输出仍必须服务端验证。
评论
正在加载评论…