01. 基础数学与机器学习
这一章的目标不是把数学课本重新讲一遍,而是回答一个工程问题:模型拿到数据后,究竟如何计算误差、如何改变参数、如何判断自己是否真的学会了。
1. 一次训练到底发生了什么
设输入为 x,标签为 y,模型参数为 θ,模型输出为 fθ(x)。一次训练可以写成四步:
预测:ŷ = fθ(x)
比较:L(ŷ, y)
求方向:g = ∂L/∂θ
更新:θ ← θ - ηgL 是损失函数,η 是学习率。训练不是“模型理解了答案”,而是在参数空间里反复寻找能降低损失的方向。损失下降也不代表业务指标一定上升,因为损失只是我们选择的代理目标。
2. 线性代数:数据如何被表示
2.1 向量、内积和范数
向量是一组有顺序的数。两个向量的内积为 a · b = Σᵢ aᵢbᵢ。余弦相似度会把长度影响除掉:cos(a,b) = (a·b)/(||a||₂||b||₂)。这就是 Embedding 检索里“相似”的数学来源。
2.2 矩阵乘法
如果 X 的形状是 n × d,W 的形状是 d × k,则 XW 得到 n × k。神经网络的线性层本质上就是批量矩阵乘法:每一行样本同时经过同一个参数矩阵。
import numpy as np
x = np.array([[1.0, 2.0]])
w = np.array([[0.2, -0.1], [0.5, 0.3]])
b = np.array([[0.1, 0.2]])
print(x @ w + b)看到 shape mismatch 时,先写出每个张量的形状,不要靠猜。
2.3 降维的边界
协方差矩阵描述特征一起变化的方向。主成分分析寻找方差最大的方向,但保留最大方差不等于保留最有业务价值的信息。任何降维都要用下游任务验证,而不是只看可视化是否漂亮。
3. 概率与信息论:模型如何表达不确定性
条件概率 P(y|x) 表示给定输入后标签的可能性。分类模型输出的是概率或分数,不是事实。概率校准差时,模型可能在正确率不变的情况下过度自信。
熵衡量不确定性:H(p) = -Σᵢ pᵢ log pᵢ。交叉熵衡量目标分布 p 与预测分布 q 的差异:CE(p,q) = -Σᵢ pᵢ log qᵢ。标签是 one-hot 时,交叉熵等于正确类别概率的负对数,所以能提供比“对/错”更细的训练信号。
4. 微积分与反向传播
导数表示输出对输入变化的敏感程度。多个函数串起来时使用链式法则:dL/dx = (dL/dy)(dy/dx)。
z = wx + b
a = σ(z)
L = (a - y)² / 2反向传播从 L 开始,先求 dL/da,再求 da/dz,最后求 dz/dw 和 dz/db。自动微分只是把计算图和链式法则自动展开。
5. 优化器和正则化
最简单的梯度下降是 w -= learning_rate * grad_w。学习率过大,损失会震荡甚至发散;过小,训练很慢。SGD 使用小批量梯度,Adam 为不同参数维护一阶和二阶移动平均,更容易起步但不是自动正确。
L2 惩罚大参数,Dropout 随机丢弃激活,早停在验证集变差时结束训练。它们不能修复错误标签和数据泄漏。
6. 机器学习问题与基线
| 任务 | 目标 | 第一版基线 | 重点指标 |
|---|---|---|---|
| 回归 | 连续值 | 均值、线性回归 | MAE、RMSE |
| 分类 | 类别 | 多数类、逻辑回归 | Precision、Recall、AUC |
| 排序 | 相关项靠前 | BM25、热门度 | MRR、NDCG |
| 聚类 | 相似群组 | K-Means | 轮廓系数、人工检查 |
| 生成 | 输出序列 | n-gram、预训练模型 | 任务指标、人工评测 |
先做基线是为了识别数据和指标问题。复杂模型只比基线高一点,可能不值得承担部署和维护成本。
7. 数据切分与泄漏
随机切分适合独立同分布样本,不适合时间序列、同一用户多条记录或同一文档切片。应按时间、用户、文档或实体边界切分。
训练集:用于更新参数
验证集:用于选模型、阈值和超参数
测试集:只在最终报告时使用检查泄漏时要问:特征在预测时点之前就存在吗?同一实体是否同时出现在训练和测试?预处理是否在全量数据上拟合?
8. 一个可复现的最小训练脚本
import numpy as np
rng = np.random.default_rng(7)
x = rng.normal(size=(100, 1))
y = 3 * x[:, 0] + 1 + rng.normal(scale=0.2, size=100)
w, b = 0.0, 0.0
for _ in range(500):
pred = w * x[:, 0] + b
error = pred - y
loss = np.mean(error ** 2)
grad_w = np.mean(2 * error * x[:, 0])
grad_b = np.mean(2 * error)
w -= 0.05 * grad_w
b -= 0.05 * grad_b
print({"loss": round(float(loss), 4), "w": round(w, 2), "b": round(b, 2)})把学习率改成 1.0 和 0.00001,观察收敛速度与是否发散。
9. 练习与验收
- 用
NumPy手写逻辑回归,并画混淆矩阵。 - 制造一次用户级数据泄漏,比较随机切分和用户切分的指标。
- 给分类器加类别权重,观察少数类
Recall的变化。 - 保存数据版本、随机种子、超参数和指标,重新运行得到近似结果。
完成标准:能解释一次参数更新;能根据任务选择切分策略;能说明交叉熵、准确率、Precision、Recall 的差异;能从训练曲线提出可验证的假设。
10. 延伸资料
- scikit-learn User Guide
PyTorch60 Minute Blitz- micrograd:极小的自动微分实现
- Dive into Deep Learning:带代码的数学与深度学习教材
评论
正在加载评论…