Skip to content

03. 大语言模型 ​

1. 一次生成发生了什么 ​

输入文本先经过 tokenizer,得到 token ID;Embedding 把 ID 映射到向量;Transformer 根据上下文计算隐藏状态;最后一个线性层把隐藏状态映射到词表大小的 logits,再经过 softmax 得到下一个 token 的概率。

text
文本 → token IDs → embedding → Transformer blocks
     → hidden state → logits → sampling → 下一个 token

模型生成一个 token 后,把它追加到上下文,再重复这条链路,直到遇到停止条件。所谓“回答一段话”,其实是很多次 next-token prediction。

2. Tokenizer 不是简单的分词 ​

token 可能是一个汉字、半个英文单词、标点、空格或代码片段。BPE 从字符或字节开始,反复合并高频相邻片段,得到有限词表。

分词方式直接影响:

  • 上下文长度和 API 成本;
  • 中文、代码、数字的表达效率;
  • 训练样本中一个词被拆成多少预测步骤;
  • Prompt 截断位置和 RAG 片段大小。
python
from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("gpt2")
text = "函数 calculate_total_price(amount, tax)"
ids = tokenizer.encode(text)
print(ids, len(ids))
print(tokenizer.decode(ids))

不要假设“一个字等于一个 token”。实际项目要用目标模型的 tokenizer 测中文、英文、代码、URL 和 JSON。

3. 预训练:学习语言分布 ​

给定 token 序列 x₁, x₂, ..., xₜ,因果语言模型优化:

text
P(x₁...xₜ) = Πₜ P(xₜ | x₁...xₜ₋₁)

损失是所有位置的 next-token 交叉熵平均。模型通过预测下一个 token,间接学到语法、代码模式、知识关联和文本风格;但它没有自动获得实时事实、数据库权限或可靠的因果推理能力。

数据质量比“网页数量”更重要。重复、污染、隐私、版权、错误事实和评测集泄漏都会影响模型。训练集、验证集、测试集与数据去重需要可追踪。

4. 三个训练阶段不要混为一谈 ​

阶段数据主要目标常见失败
预训练大规模 token学语言和世界知识的统计结构数据污染、训练不稳定、知识过时
SFT指令-回答对学会按要求回答和使用格式过拟合模板、风格偏移
偏好优化chosen/rejected 或奖励学会取舍、帮助性和拒答边界奖励投机、过度拒答、迎合

RLHF 通常包含偏好数据、奖励模型和强化学习;DPO 直接用偏好对优化策略,少一个显式奖励模型。两者都不能保证事实正确,事实仍需要检索、工具和验证。

5. Logits、softmax 与采样 ​

模型输出的是 logits z,不是概率。温度 T 调整分布:

text
pᵢ = softmax(zᵢ / T)

T < 1 让高概率 token 更突出,T > 1 让分布更平坦。top-k 只保留概率最高的 k 个 token;top-p 保留累计概率达到 p 的最小集合。

python
import torch

def sample(logits, temperature=0.7, top_p=0.9):
    logits = logits / temperature
    probs = torch.softmax(logits, dim=-1)
    sorted_probs, sorted_ids = torch.sort(probs, descending=True)
    keep = torch.cumsum(sorted_probs, dim=-1) <= top_p
    keep[..., 0] = True
    filtered = torch.where(keep, sorted_probs, torch.zeros_like(sorted_probs))
    filtered = filtered / filtered.sum(dim=-1, keepdim=True)
    picked = torch.multinomial(filtered, 1)
    return sorted_ids.gather(-1, picked)

低温度只改变随机性,不会自动增加事实正确率;greedy decoding 也可能稳定地产生错误。

6. 上下文窗口不是长期记忆 ​

上下文预算包括系统指令、历史消息、用户输入、检索片段、工具结果和模型输出。输入越长,延迟和成本越高;有效上下文还可能因为注意力稀释而下降。

生产系统要明确:

  1. 哪些信息必须原文保留;
  2. 哪些历史可以摘要;
  3. 哪些知识应该走检索而不是塞进 Prompt;
  4. 工具结果的最大长度和截断策略;
  5. 超过预算时是压缩、拒答还是分批处理。

7. 推理性能:KV Cache 和量化 ​

自回归生成时,旧 token 的 K/V 不必每次重新计算,可以缓存下来。第 t 步只计算新 token 的 query,再与缓存的 key/value 结合。缓存会占显存,长上下文和并发请求会放大成本。

量化把权重或激活从 FP16/BF16 压到 INT8/INT4 等表示,降低显存和带宽,但可能损失精度。评估量化模型不能只看困惑度,要看真实任务、工具调用、结构化输出和长上下文。

8. 能力、幻觉和工具边界 ​

模型输出是条件概率采样,不是数据库查询。它可能:

  • 用流畅语言补齐不存在的事实;
  • 把训练数据中的旧信息当成当前事实;
  • 在数字计算和长链推理中出错;
  • 看似遵守规则,实际绕过权限边界。

解决方法不是把系统提示词写得更长,而是把任务拆开:模型负责理解和选择,程序负责计算、权限、数据库读写和最终校验。

9. 结构化输出与服务端校验 ​

json
{
  "customer": "string",
  "amount": 0,
  "currency": "CNY",
  "confidence": 0.0
}

Schema 必须在服务端校验:字段类型、枚举、数值范围、必填项和字符串长度都不能只依赖模型。解析失败时重试或转人工,不能把未经校验的 JSON 直接交给支付、删除或发消息工具。

10. 模型选型和评测 ​

比较模型至少要记录任务成功率、事实正确率、结构化输出通过率、工具调用准确率、延迟、成本、上下文长度、许可证、部署方式和数据边界。

评测集应包含正常样例、边界样例、恶意输入、长上下文、空结果、工具失败和权限拒绝。平均分不能替代分桶分析。

11. 练习与验收 ​

  1. 用目标模型 tokenizer 比较中文、英文、代码和 JSON 的 token 数。
  2. 对同一组 logits 比较 greedy、temperature、top-k、top-p 的输出分布。
  3. 构造一个模型自信但无证据的问题,分别使用检索和工具校验。
  4. 设计合同抽取 Schema,故意输入缺字段、超范围金额和非法日期,验证服务端拒绝。
  5. 比较有无 KV Cache 的生成速度和显存占用。

完成标准:能从文本追踪到 token 概率;能区分预训练、SFT 和偏好优化;能解释温度、top-k、top-p 和 KV Cache;能说明为什么结构化输出仍必须服务端验证。

12. 延伸资料 ​

评论

正在加载评论…