← COMP5541 全部讲次
L05a · 第 7 周

L05a Mini-batch 与动量:让梯度下降算得省、走得顺

从梯度下降走一步讲起,看全批梯度为什么太贵、mini-batch 怎么省、动量怎么让步子带上惯性。

一句话版

上一讲已经能用反向传播算出每个权重的梯度。这一页解决下一个问题:梯度怎么用才省、才稳。

每一步只拿一小批样本算梯度,叫 mini-batch。再让每一步带上上一步的惯性,叫动量。前者省计算,后者让方向更顺。

这一讲拆成四页,这是第一页。课件把深度网络训练中的麻烦分成三类:优化低效、欠拟合、过拟合。这一页讲第一类。

先认识这几个词

词 全称 / 读法 一句人话
梯度下降 gradient descent 沿着让损失变小最快的方向,挪一小步参数
学习率 η、ε 读「伊塔」「伊普西龙」 每一步挪多远的系数,课件在动量那页写成 ε
batch / mini-batch 批 / 小批量 每次拿来算梯度的那一组样本;小批量就是只取一小部分
SGD Stochastic Gradient Descent,随机梯度下降 每步只用一小批样本估梯度的梯度下降
epoch 训练轮次 把全部训练数据完整过一遍
动量 momentum 让更新带上「惯性」,顺坡越滑越快
α 读「阿尔法」 这一页里是动量参数,决定上一步的速度留下多少

一个类比:蒙着眼下山找谷底

把训练想成蒙着眼下山。脚下的坡度就是梯度,往下坡走就是梯度下降。

全批梯度下降,是每走一步前把整座山都摸一遍。方向最准,但太慢。

mini-batch 是只摸脚边一小块就走。方向有点晃,胜在快。晃动有时还能让你跳出小坑。

动量是穿上带惯性的滑板。顺坡会越滑越快,也可能冲过谷底。

类比在哪里失效:

  • 真实的损失面有成千上万个维度,不是一座二维的山。
  • mini-batch 每换一批数据,脚下的「山形」本身就跟着变,真山不会这样。

从零讲起

1. 先补一块:梯度下降走一步(补充)

它解决什么问题

模型有参数 w,损失函数告诉我们 w 现在有多差。我们想把 w 调到损失最小的地方,但看不见整条损失曲线。

梯度下降只需要知道一件事:在当前位置,损失往哪边变大、变得多快。这就是梯度。知道了它,往反方向挪一小步,损失就会变小一点。重复很多次,就走到谷底附近。

直觉

站在山坡上,脚能感到哪边高哪边低。往低的那边迈一步。

梯度是正的,说明 w 变大损失会变大,那就把 w 调小。梯度是负的,说明 w 变大损失会变小,那就把 w 调大。坡越陡,梯度的绝对值越大,这一步迈得也越大。

学习率决定步子的基础大小。太大会跨过谷底来回跳,太小则半天走不到。

一步一步看

目标:用四个样本算出全批平均梯度再更新一次 w,看梯度为负时 w 为什么往大里走。

用一个最小的模型 y = w·x,只有一个参数 w,损失用均方误差。四个训练样本 (x, ȳ) 是 (1,2)、(2,4)、(3,5)、(4,9),从 w = 1 出发,学习率 η = 0.01。

  1. 先用当前的 w 算预测:四个样本的预测分别是 1、2、3、4,都比目标小。

  2. 再算每个样本的梯度,公式是 2(wx − ȳ)·x,见下表。

  3. 把四个梯度取平均,得到全批梯度。

  4. 按「新 w = 旧 w − η × 梯度」走一步。

    样本 (x, ȳ) 预测 wx 误差 wx − ȳ 梯度 2(wx − ȳ)·x
    (1, 2) 1 −1 −2
    (2, 4) 2 −2 −8
    (3, 5) 3 −2 −12
    (4, 9) 4 −5 −40
    平均 −15.5
  5. 梯度是负的,所以 w 往大的方向走:1 − 0.01 × (−15.5) = 1.155。预测都偏小,把 w 调大正是对的。

怎么算

更新式只有一行:

w ← w − η · dℓ/dw

意思是:新的 w 等于旧的 w,减去学习率乘梯度。减号保证了往下坡走。

当损失是 N 个样本的平均时,梯度也是 N 个样本梯度的平均:

dℓ/dw = (1/N) · Σᵢ dℓᵢ/dw

意思是:每个样本单独求一次梯度,再把它们加起来除以 N。上面的表就是 N = 4 的情况:(−2 − 8 − 12 − 40) / 4 = −15.5。

常见误解

以为梯度指向损失变小的方向

梯度指向损失变大最快的方向。更新式里的减号才把方向翻过来。所以梯度为负时,w 反而要变大。

试一下

同样四个样本,如果从 w = 2 出发,第一个样本 (1, 2) 的梯度是多少?w 会往哪边走?

预测 2×1 = 2,正好等于目标,误差 0,梯度 0。这个样本对 w 没有意见。其他三个样本里,(4, 9) 的预测 8 仍偏小,梯度为负,会把 w 往大推。

2. Mini-batch SGD

它解决什么问题

上面的例子只有四个样本。真实训练集动辄成千上万个,每走一步都要把全体样本前向、反向各跑一遍再求平均,这叫全批梯度下降(Batch Gradient Descent)。课件对它的判断是 Too much computation and memory:计算太多,内存也装不下。

mini-batch 的办法是每一步只取一小批样本,用这一小批的平均梯度去近似全批梯度。

从哪来(补充)

随机梯度下降的源头是 Herbert Robbins 和 Sutton Monro 1951 年提出的随机逼近方法:用带噪声的估计值一步步逼近答案。深度学习里用小批量样本估梯度,沿用的就是这个思路。

出处:Wikipedia: Stochastic gradient descent

直觉

想知道全班的平均身高,不必量完所有人。随便抽几个人量一量,平均值大概也差不多,只是每次抽到的人不同,结果会上下晃。

mini-batch 梯度就是这样一个「抽样估计」。它和全批梯度方向大体一致,但带着噪声。换一批样本,等于换了一条略有偏差的损失曲线去下降。

一步一步看

目标:把四个样本分成两批各算梯度,看每批的估计和全批差得不少,但方向都对、只是步长不同。

还是上面四个样本、w = 1。这次把它们分成两批,每批两个。

  1. 先看四个样本各自的梯度:−2、−8、−12、−40。

    四根向下的柱子表示四个样本的梯度,依次是 −2、−8、−12、−40,第四个样本的柱子最长

  2. 全批梯度把四个都用上,平均是 −15.5。

    四根梯度柱子上加了一条青绿色虚线,标出全批平均梯度 −15.5

  3. 分成两批:前两个样本的平均是 −5,后两个是 −26。两批再平均,仍是 −15.5。但每一批单独看,都和 −15.5 差得不少。

    前两个样本一批平均 −5,后两个一批平均 −26,各画一条青绿短线;全批平均 −15.5 的虚线变成灰色作对照

  4. 用这两个估计各走一步(η = 0.01):只用第一批,w 到 1.05;只用第二批,w 到 1.26;全批是 1.155。方向都对,步长不同。

怎么算

一个 mini-batch 有 m 个样本时:

g = (1/m) · Σᵢ₌₁ᵐ ∇θ L(f(x⁽ⁱ⁾; θ), y⁽ⁱ⁾)

意思是:只在这 m 个样本上求梯度再平均,用 g 代替全批梯度去更新参数。

batch 的大小是一个取舍,课件给了三条:

  • 大 batch 的梯度估计更准,但课件强调 not the optimal,更准不等于最终效果最好。
  • 现代 GPU 对 2 的幂次 batch size 跑得更快;batch 太小时 GPU 吃不满(underutilized)。
  • 小 batch 的噪声有正则化效果。batch size = 1 时泛化误差最好,但要用很小的学习率维持稳定,步数多、运行慢。

把全部训练数据过一遍叫一个 epoch。一个 epoch 里更新几次,等于样本数除以 batch size 再向上取整:

更新次数 = ⌈N / batch size⌉ = ⌈1000 / 32⌉ = 32

意思是:1000 个样本、每批 32 个,前 31 批各 32 个,最后一批剩 8 个,一共更新 32 次。全批梯度下降一个 epoch 只更新 1 次。

常见误解

以为 batch 越大越好,因为梯度最准

课件说大 batch 梯度更准但不是最优。小 batch 的噪声有正则化效果,batch size = 1 泛化误差最好。

反过来也别扩大成「batch 越小越好」:同一页写了代价,小学习率、步数多、运行慢,而且 batch 太小 GPU 吃不满。

以为 SGD 里的「随机」指随机挑方向走

方向仍然是负梯度方向。随机的是用来算梯度的那批样本,课件里 stochastic 指「单个或少数几个样本」。

试一下

四个样本换一种分法:样本 1 和样本 4 一批,样本 2 和样本 3 一批。两批的平均梯度各是多少?它们的平均还是 −15.5 吗?

第一批 (−2 − 40)/2 = −21,第二批 (−8 − 12)/2 = −10。两批再平均 (−21 − 10)/2 = −15.5,还是全批梯度。分法不同,单批的偏差也不同,但只要每批大小相同,平均起来总能回到全批梯度。

3. 动量(SGD with Momentum)

它解决什么问题

mini-batch 的梯度带噪声,方向一会儿偏左一会儿偏右,走得不顺。损失面上还有局部极小:一个比周围低、但不是全局最低的小坑。普通梯度下降走进小坑,梯度变成 0,就停住了。

动量让每一步不只看当前梯度,还带上之前的移动方向。连续同向时越走越快,偶尔一次方向乱了也被惯性抹平,还有机会冲出小坑。

从哪来(补充)

动量出现在 Rumelhart、Hinton、Williams 1986 年关于反向传播的论文里,思路借自 Boris Polyak 1964 年的文章。课件动量那页的伪代码出自 Goodfellow、Bengio、Courville 的教材《Deep Learning》第 8 章。

出处:Wikipedia: Stochastic gradient descent

直觉

课件配的照片是小孩坐车从滑梯冲下来。车已经在动,这一刻的坡度只是给它加一点速度,它不会立刻掉头。

动量引入一个「速度」v。每一步先把旧速度打个折(乘 α),再加上这一步的坡度推力。参数按速度挪。α 越接近 1,惯性越大。

一步一步看

目标:在 θ² 上让普通梯度下降和动量法各走四步,看动量越走越快,第 4 步还冲过了最低点。

最小化 L(θ) = θ²,最低点在 θ = 0。从 θ₀ = 1、v₀ = 0 出发,学习率 ε = 0.1。上一行是普通梯度下降,下一行是 α = 0.9 的动量版。每一帧里青绿箭头是这一步的移动。

  1. 第 1 步:梯度 g = 2θ = 2。速度还是 0,两种走法完全一样,都到 0.8。

    两条数轴,θ 都从 1 走到 0.8,动量的速度 v 为 −0.2

  2. 第 2 步:g = 1.6。普通版到 0.64。动量版的速度是 0.9 × (−0.2) − 0.16 = −0.34,到 0.46,已经拉开差距。

    普通梯度下降到 0.64,动量法到 0.46,动量的箭头明显更长

  3. 第 3 步:普通版到 0.512。动量版速度 −0.398,到 0.062,几乎到底。

    普通梯度下降到 0.512,动量法到 0.062,已经很接近最低点 0

  4. 第 4 步:普通版到 0.4096,还在慢慢挪。动量版速度 −0.3706,冲到 −0.3086,越过了最低点。这就是过冲。

    普通梯度下降到 0.4096;动量法冲到 −0.3086,越过了最低点 θ = 0,跑到负数一侧

怎么算

课件的更新式是两行:

v ← αv − εg

θ ← θ + v

意思是:新速度等于旧速度乘 α(打个折),再减去学习率乘梯度;参数按新速度挪一步。

α = 0 时第一行变成 v = −εg,第二行变成 θ ← θ − εg,退化成普通梯度下降。

再看惯性有多大。如果梯度一直是常数 g,速度会稳定在:

v = −εg / (1 − α)

意思是:稳定后的步长是普通梯度下降的 1/(1 − α) 倍。α = 0.9 时 1/(1 − 0.9) = 10,步子大了 10 倍。

记号提醒:这一页 α 是动量参数、ε 是学习率。到了正则化那一页,α 变成正则化系数,学习率写成 η。

常见误解

以为动量只是把学习率调大

调大学习率是每一步都等比例放大。动量放大的是「连续同向」的部分:方向一致时速度越积越大,方向来回变时正负抵消。所以它既能加速,也能平滑噪声。

以为动量一定更快到达最低点

上面第 4 步已经冲过了 0。惯性能帮它冲过局部极小,也会让它在最低点附近来回晃。快和稳之间的平衡靠 α 调。

试一下

θ₀ = 2,v₀ = 0,ε = 0.1,α = 0.5,最小化 θ²。求前两步的 v 和 θ。

第 1 步:g = 4,v = 0 − 0.4 = −0.4,θ = 1.6。

第 2 步:g = 3.2,v = 0.5×(−0.4) − 0.32 = −0.52,θ = 1.6 − 0.52 = 1.08。

把它们串起来

训练流程可以写成 Stage 0–3:准备数据、设计模型、确定参数、评估模型。这一讲的内容都落在 Stage 2,也就是确定参数。

确定参数靠梯度下降。上一讲的反向传播只用了一个样本,真实训练里损失是所有样本的平均,梯度也是平均。每一步都算全体太贵,于是改用 mini-batch:只用一小批样本估梯度。

估计带噪声,方向会晃。动量把之前的移动方向累积起来,让步子更顺,还能冲出小坑,代价是可能冲过头。

这两样改的都是「怎么用梯度」,梯度本身怎么算不变。下一页讲另一类问题:梯度在往前传的路上变得太小,前面的层根本学不动。

课件里的坑

  • [记号重叠] p.12 的 α 是动量参数、ε 是学习率;p.19–21 的 α 是正则化系数、学习率写成 η。考试题若混用,按上下文判断
  • [读图提醒] p.11 写 batch size = 1 泛化误差最好,同一页也写了运行慢、要小学习率。不要扩大成「batch 越小越好」
  • [范围] 课件文字和图里都没有出现 Adam 和 batch normalization,这一讲的优化器只有 mini-batch SGD 和动量
  • [页码提醒] p.28 的 Quiz 1 / Assignment 1 讲评只有标题页,课件没有具体内容

课后 10 分钟:考点复习

这 10 分钟怎么用:合上页面,先默写动量的两行更新式,再用 θ²、θ₀ = 1、ε = 0.1、α = 0.9 手算三步;然后回答「batch 越大越好吗」;最后回查 α 和 ε 分别是什么。

必背

  1. 深度网络三类问题:优化低效用 mini-batch 和动量,梯度消失用 ReLU/Leaky ReLU,过拟合用正则化。
  2. 全批梯度是所有样本梯度的平均,每步都算全体太费计算和内存,所以改用 mini-batch。
  3. mini-batch 梯度是全批梯度的有噪声估计;小 batch 有正则化效果但运行慢。
  4. 大 batch 梯度更准但不是最优;GPU 适合 2 的幂次 batch,batch 太小 GPU 吃不满。
  5. 动量更新:v ← αv − εg,θ ← θ + v;α = 0 时退化为普通梯度下降。
  6. 动量的惯性帮助越过局部极小,也会冲过最低点(过冲)。

课件例题

例 1(课件 p.10):全批损失下,dℓ/dw₁ 要算多少遍

题面:沿用上一讲 2-2-2-1 的 sigmoid 网络和它的 10 个梯度式。训练集有 N 个样本,损失写成 ℓ = (1/N)·Σᵢ ||f(W, xᵢ) − ȳᵢ||²。问:求 dℓ/dw₁ 要做什么,代价在哪?

提示

上一讲的反向传播是在几个样本上推的?损失变成 N 个样本的平均以后,梯度会变成什么?

解答
  1. 上一讲的 BP 只用了一个样本。全批损失是 N 个样本损失的平均,所以梯度也是 N 个样本梯度的平均。
  2. 求 dℓ/dw₁ 要对全部 N 个样本各跑一遍前向和反向,再取平均。这就是 Batch Gradient Descent。
  3. 课件的判断是 Too much computation and memory!,出路是每步只用一小批样本,即 mini-batch。

完整例题

题面(自编情境:课件 p.12 只给了动量公式,没给数据):用动量法最小化 L(θ) = θ²,θ₀ = 1,v₀ = 0,ε = 0.1,α = 0.9。求前三步的 θ,并和普通梯度下降比较。

解法:梯度 g = 2θ。

  1. 第 1 步:g = 2,v = 0.9×0 − 0.1×2 = −0.2,θ = 1 − 0.2 = 0.8。
  2. 第 2 步:g = 1.6,v = 0.9×(−0.2) − 0.16 = −0.34,θ = 0.8 − 0.34 = 0.46。
  3. 第 3 步:g = 0.92,v = 0.9×(−0.34) − 0.092 = −0.398,θ = 0.46 − 0.398 = 0.062。
  4. 普通梯度下降每步乘 0.8:0.8、0.64、0.512。

要点:动量版三步后 0.062,普通版 0.512。再走一步动量版会冲到 −0.3086,越过最低点。

答案:动量法前三步 θ 依次是 0.8、0.46、0.062。

答题格式:列一张「步 / g / v / θ」四列表,每行写清 v 用的是上一行的 v。

变式题(先自己做)

(1) 自编情境:最小化 L(θ) = θ²,θ₀ = −1,v₀ = 0,ε = 0.2,α = 0.8,求前两步的 v 和 θ。 (2) 自编情境:N = 500 个样本,batch size 64。一个 epoch 更新几次?最后一批有几个样本?

提示

(1) θ 为负时梯度也为负,v 会是正数。(2) 用 ⌈N / batch size⌉,最后一批是余数。

判分点与答案(非官方评分标准)

判分点:① 动量第 2 步要用第 1 步的 v;② 速度的正负号写对;③ epoch 题要向上取整。

(1) 第 1 步:g = −2,v = 0 − 0.2×(−2) = 0.4,θ = −0.6。第 2 步:g = −1.2,v = 0.8×0.4 + 0.24 = 0.56,θ = −0.04。

(2) ⌈500/64⌉ = 8 次。前 7 批各 64 个,共 448 个,最后一批 52 个。

闪卡自测

1. 课件列的三类问题各对应什么对策?

优化低效:mini-batch SGD、动量;欠拟合(梯度消失):ReLU、Leaky ReLU;过拟合:L1/L2、dropout、early stopping、data augmentation(p.8)。

2. 为什么不每步都用全部数据算梯度?

计算量和内存都太大,课件原话是 Too much computation and memory(p.10)。

3. 为什么 batch size 常取 2 的幂?

现代 GPU 对 2 的幂次 batch size 运行更快;batch 太小时 GPU 利用不足(p.11)。

4. 判断:batch size 越大,训练出的模型泛化越好。

错。课件说大 batch 梯度估计更准但不是最优,小 batch 的噪声反而有正则化效果(p.11)。

5. 动量公式里 α 取 0 会怎样?

v = −εg,θ ← θ − εg,退化成普通的梯度下降(p.12)。

6. 动量的惯性有什么好处,有什么代价?

好处是连续同向时越走越快,能冲过局部极小;代价是会冲过最低点,即过冲(p.12)。

7. mini-batch SGD、动量分别属于训练流程的哪个阶段?

都属于 Stage 2 里的「优化」(p.7)。

下一讲

本讲下一页讲欠拟合:sigmoid 让梯度一路缩小,换成 ReLU 和 Leaky ReLU 后怎么好转。见 L05b。

下一讲 →
L05b L05b 梯度消失与 ReLU:为什么网络深了反而学不动

个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。