Skip to content

01. 基础数学与机器学习 ​

这一章的目标不是把数学课本重新讲一遍,而是回答一个工程问题:模型拿到数据后,究竟如何计算误差、如何改变参数、如何判断自己是否真的学会了。

1. 一次训练到底发生了什么 ​

设输入为 x,标签为 y,模型参数为 θ,模型输出为 fθ(x)。一次训练可以写成四步:

text
预测:ŷ = fθ(x)
比较:L(ŷ, y)
求方向:g = ∂L/∂θ
更新:θ ← θ - ηg

L 是损失函数,η 是学习率。训练不是“模型理解了答案”,而是在参数空间里反复寻找能降低损失的方向。损失下降也不代表业务指标一定上升,因为损失只是我们选择的代理目标。

2. 线性代数:数据如何被表示 ​

2.1 向量、内积和范数 ​

向量是一组有顺序的数。两个向量的内积为 a · b = Σᵢ aᵢbᵢ。余弦相似度会把长度影响除掉:cos(a,b) = (a·b)/(||a||₂||b||₂)。这就是 Embedding 检索里“相似”的数学来源。

2.2 矩阵乘法 ​

如果 X 的形状是 n × d,W 的形状是 d × k,则 XW 得到 n × k。神经网络的线性层本质上就是批量矩阵乘法:每一行样本同时经过同一个参数矩阵。

python
import numpy as np

x = np.array([[1.0, 2.0]])
w = np.array([[0.2, -0.1], [0.5, 0.3]])
b = np.array([[0.1, 0.2]])
print(x @ w + b)

看到 shape mismatch 时,先写出每个张量的形状,不要靠猜。

2.3 降维的边界 ​

协方差矩阵描述特征一起变化的方向。主成分分析寻找方差最大的方向,但保留最大方差不等于保留最有业务价值的信息。任何降维都要用下游任务验证,而不是只看可视化是否漂亮。

3. 概率与信息论:模型如何表达不确定性 ​

条件概率 P(y|x) 表示给定输入后标签的可能性。分类模型输出的是概率或分数,不是事实。概率校准差时,模型可能在正确率不变的情况下过度自信。

熵衡量不确定性:H(p) = -Σᵢ pᵢ log pᵢ。交叉熵衡量目标分布 p 与预测分布 q 的差异:CE(p,q) = -Σᵢ pᵢ log qᵢ。标签是 one-hot 时,交叉熵等于正确类别概率的负对数,所以能提供比“对/错”更细的训练信号。

4. 微积分与反向传播 ​

导数表示输出对输入变化的敏感程度。多个函数串起来时使用链式法则:dL/dx = (dL/dy)(dy/dx)。

text
z = wx + b
a = σ(z)
L = (a - y)² / 2

反向传播从 L 开始,先求 dL/da,再求 da/dz,最后求 dz/dw 和 dz/db。自动微分只是把计算图和链式法则自动展开。

5. 优化器和正则化 ​

最简单的梯度下降是 w -= learning_rate * grad_w。学习率过大,损失会震荡甚至发散;过小,训练很慢。SGD 使用小批量梯度,Adam 为不同参数维护一阶和二阶移动平均,更容易起步但不是自动正确。

L2 惩罚大参数,Dropout 随机丢弃激活,早停在验证集变差时结束训练。它们不能修复错误标签和数据泄漏。

6. 机器学习问题与基线 ​

任务目标第一版基线重点指标
回归连续值均值、线性回归MAE、RMSE
分类类别多数类、逻辑回归Precision、Recall、AUC
排序相关项靠前BM25、热门度MRR、NDCG
聚类相似群组K-Means轮廓系数、人工检查
生成输出序列n-gram、预训练模型任务指标、人工评测

先做基线是为了识别数据和指标问题。复杂模型只比基线高一点,可能不值得承担部署和维护成本。

7. 数据切分与泄漏 ​

随机切分适合独立同分布样本,不适合时间序列、同一用户多条记录或同一文档切片。应按时间、用户、文档或实体边界切分。

text
训练集:用于更新参数
验证集:用于选模型、阈值和超参数
测试集:只在最终报告时使用

检查泄漏时要问:特征在预测时点之前就存在吗?同一实体是否同时出现在训练和测试?预处理是否在全量数据上拟合?

8. 一个可复现的最小训练脚本 ​

python
import numpy as np

rng = np.random.default_rng(7)
x = rng.normal(size=(100, 1))
y = 3 * x[:, 0] + 1 + rng.normal(scale=0.2, size=100)
w, b = 0.0, 0.0

for _ in range(500):
    pred = w * x[:, 0] + b
    error = pred - y
    loss = np.mean(error ** 2)
    grad_w = np.mean(2 * error * x[:, 0])
    grad_b = np.mean(2 * error)
    w -= 0.05 * grad_w
    b -= 0.05 * grad_b

print({"loss": round(float(loss), 4), "w": round(w, 2), "b": round(b, 2)})

把学习率改成 1.0 和 0.00001,观察收敛速度与是否发散。

9. 练习与验收 ​

  1. 用 NumPy 手写逻辑回归,并画混淆矩阵。
  2. 制造一次用户级数据泄漏,比较随机切分和用户切分的指标。
  3. 给分类器加类别权重,观察少数类 Recall 的变化。
  4. 保存数据版本、随机种子、超参数和指标,重新运行得到近似结果。

完成标准:能解释一次参数更新;能根据任务选择切分策略;能说明交叉熵、准确率、Precision、Recall 的差异;能从训练曲线提出可验证的假设。

10. 延伸资料 ​

评论

正在加载评论…