L07b-2 梯度爆炸与消失:同一个 W 乘太多次会怎样
从同一个数连乘讲起,看 RNN 反向传播为什么每退一步乘一次 W,最大奇异值怎样决定爆炸还是消失,以及梯度裁剪怎么做、为什么只治爆炸。
一句话版
RNN 反向传播时,梯度每往回走一步,就要乘一次同一个矩阵 W。走远了,不是越乘越大就是越乘越小。
越乘越大叫梯度爆炸,可以用裁剪压住。越乘越小叫梯度消失,裁剪救不了,只能改网络结构,下一页的 LSTM 就是这样来的。
前置:隐藏状态和展开图见上一页 L07b-1。
先认识这几个词
| 词 | 全称 / 读法 | 一句人话 |
|---|---|---|
| 梯度消失 | vanishing gradient | 梯度往回传时越乘越接近 0,早期的参数学不动 |
| 梯度爆炸 | exploding gradient | 梯度往回传时越乘越大,一步更新就把参数甩飞 |
| W_hhᵀ | 读「W h h 转置」 | 反向传播时乘的是 W_hh 的转置 |
| 奇异值 | singular value | 矩阵在某个方向上最多能把一组数放大几倍 |
| 范数 | norm | 一组数的长度,(3, 4) 的范数是 5 |
| 梯度裁剪 | gradient clipping | 梯度太长时按比例缩短,方向不变 |
一个类比:传话游戏
一排人玩传话。每个人听到上家的话,按自己的习惯转述给下家。所有人的习惯都一样:要么爱夸张一点,要么爱省略一点。
传到第十个人,爱夸张的版本已经离谱得没边,爱省略的版本几乎什么都不剩。RNN 反向传播就是这样一排人,每个人都用同一个 W 转述。
夸张过头的话还能补救:管它多离谱,按比例往回压到合理范围就行。省略光了的话就没法补救了,原话已经丢了。这就是裁剪只治爆炸的原因。
类比在哪里失效:
- 矩阵有很多个方向,可能在一个方向夸张、另一个方向省略,传话里每个人只有一种习惯。
- 梯度传完是要拿去更新参数的,传话的结果只是图一乐。
从零讲起
1. 先补一块:同一个数连乘(补充)
它解决什么问题
后面所有结论都建立在一件事上:同一个数反复乘自己,结果会怎样。先用标量看清楚,再推到矩阵。
直觉
大于 1 的数连乘,越乘越大,而且是指数级地大。小于 1 的数连乘,越乘越小,很快贴近 0。只有恰好等于 1 才保持不动。
差别不在于数离 1 有多远,在于乘的次数。0.9 看着离 1 很近,乘 20 次也只剩约 0.12。
一步一步看
目标:把 1.5 和 0.5 各连乘 2、4、10 次,看略大于 1 和略小于 1 的数连乘后差距有多大。
-
取两个数:1.5 和 0.5。
-
各乘 2 次:1.5² = 2.25,0.5² = 0.25。
-
各乘 4 次:1.5⁴ ≈ 5.06,0.5⁴ = 0.0625。
-
各乘 10 次:1.5¹⁰ ≈ 57.67,0.5¹⁰ ≈ 0.000977。两者差了五万多倍。
怎么算
aᵏ:a > 1 时随 k 增大趋向无穷,a < 1 时趋向 0。
意思是:同一个因子乘 k 次,结果由「这个因子比 1 大还是小」决定,乘的次数越多,差别越极端。
常见误解
以为接近 1 的数连乘也差不多是 1
只要不是恰好 1,乘的次数够多就会偏离。0.9 乘 20 次只剩约 0.12。序列长几十、几百步时,这个效应非常明显。
试一下
0.8 连乘 10 次大约是多少?
0.8¹⁰ ≈ 0.107,剩一成左右。
2. 反向每退一步,乘一次 W
它解决什么问题
上一页说过:W 的梯度要从最后一步一路传回第 1 步。这一节看清楚每往回走一步,梯度具体被乘了什么。
直觉
先把公式整理一下。hₜ = tanh(W_hh hₜ₋₁ + W_xh xₜ) 里有两个矩阵,可以横着拼成一个大 W,同时把 hₜ₋₁ 和 xₜ 竖着拼成一个长向量。乘出来和原式一样,之后只需要讨论一个 W。
反向传播时,从 hₜ 退到 hₜ₋₁,要经过两样东西:tanh 的导数和 W_hh。所以每退一步,梯度乘一次 W_hhᵀ,再乘一个 tanh 导数。tanh 导数最大为 1,只会让梯度更小。
一步一步看
目标:从 h₄ 往回退到 h₀,看每退一步都乘一次 W_hhᵀ,再用标量例子看梯度三步后只剩约 0.044。
-
拼 W:tanh(W_hh hₜ₋₁ + W_xh xₜ) 写成 tanh(W (hₜ₋₁ ; xₜ)),W = (W_hh W_xh)。
-
从 h₄ 往回退到 h₃:乘一次 W_hhᵀ,再乘 diag(1 − h₄²)。
-
再退到 h₂、h₁、h₀,每一步都一样。
-
用上一页的标量例子验算(W_hh = 0.5,h₁ ≈ 0.7616,h₂ ≈ 0.3634,h₃ ≈ 0.1797),每一步的因子是 W_hh × (1 − h²):
回退 tanh 导数 1 − h² 本步因子 累积 h₃ → h₂ 1 − 0.1797² ≈ 0.968 0.5 × 0.968 ≈ 0.484 0.484 h₂ → h₁ 1 − 0.3634² ≈ 0.868 0.5 × 0.868 ≈ 0.434 0.210 h₁ → h₀ 1 − 0.7616² ≈ 0.420 0.5 × 0.420 ≈ 0.210 0.044 -
才退三步,梯度就只剩约 0.044,不到二十分之一。
怎么算
∂hₜ/∂hₜ₋₁ = diag(1 − hₜ²) · W_hh,梯度往回传一步就乘它的转置。
意思是:退 T 步就乘 T 次同一个 W_hhᵀ,每次还夹一个不超过 1 的 tanh 导数。
常见误解
以为每一步乘的是不同的矩阵
W_hh 是共享的,每一步乘的都是同一个 W_hhᵀ。正因为是同一个,偏大会一路偏大,偏小会一路偏小,不会互相抵消。tanh 导数各步不同,但都不超过 1。
试一下
序列长 50,从最后一步传回第一步,要乘几次 W_hhᵀ?
50 次,每次还夹一个 tanh 导数。
3. 爆炸还是消失:看最大奇异值
它解决什么问题
标量好判断,比 1 大还是小一眼就看出来。可 W 是矩阵,怎么说它「比 1 大」?课件给的判据是看 W 的最大奇异值。
从哪来(补充)
梯度消失问题最早由 Sepp Hochreiter 在 1991 年的毕业论文里正式分析。
出处:Wikipedia: Vanishing gradient problem
直觉
一个矩阵在不同方向上放大的倍数不一样。奇异值就是这些倍数,最大奇异值是它最多能放大几倍。
连乘很多次之后,放大最多的那个方向会压过一切。所以只看最大的那个:大于 1,至少有一个方向会炸开;小于 1,所有方向都在缩。
一步一步看
目标:把 diag(1.2, 0.8) 连乘 20 次,看同一个矩阵一个方向爆炸、一个方向消失,判据看最大奇异值。
拿最简单的对角矩阵 W = diag(1.2, 0.8),它的两个奇异值就是 1.2 和 0.8。
-
乘 1 次:第一个方向放大 1.2 倍,第二个方向缩到 0.8 倍。
-
连乘 20 次,两个方向分开看:
方向 奇异值 乘 20 次 结果 第一个 1.2 1.2²⁰ 约 38.3 第二个 0.8 0.8²⁰ 约 0.0115 -
同一个矩阵,一个方向爆炸,另一个方向消失。最大奇异值 1.2 > 1,按课件的判据算爆炸。
-
如果改成 diag(0.9, 0.8),最大奇异值 0.9 < 1,所有方向都在缩,算消失。
怎么判断
看 W 的最大奇异值 σ_max:σ_max > 1 判爆炸,σ_max < 1 判消失。
小于 1 时一定消失,因为 tanh 导数只会让它更小。大于 1 时不一定真爆炸,tanh 导数可能把它压回来,所以课件的判据是经验判据。
常见误解
以为看所有奇异值的平均值
连乘之后起决定作用的是最大的那个。平均值是 1 的矩阵,照样可能在一个方向炸开。
试一下
W = diag(0.5, 1.5),按课件判据会爆炸还是消失?
最大奇异值 1.5 > 1,判爆炸。0.5 那个方向同时也在消失。
4. 梯度裁剪:方向不变,长度压到阈值
它解决什么问题
梯度爆炸时,一次更新就可能把参数改到离谱的地方,训练直接崩掉。需要一个简单的保险:梯度太长就缩短。
从哪来(补充)
用梯度裁剪对付梯度爆炸,出自 Pascanu、Mikolov、Bengio 2012 年的论文 On the difficulty of training Recurrent Neural Networks。
出处:Wikipedia: Vanishing gradient problem
直觉
先算梯度的长度,也就是范数。长度没超过阈值就不动。超过了,就整体乘一个缩放系数,让长度刚好等于阈值。
方向不变,所以参数还往同一个方向走,只是步子变小。
一步一步看
目标:把长度 5 的梯度按阈值 1 裁剪,看方向不变、长度压到 1,再对照课件代码漏开方的结果。
梯度 grad = (3, 4),阈值 threshold = 1。
-
算长度:√(3² + 4²) = √25 = 5。
-
判断:5 > 1,需要裁剪。
-
缩放系数:1 / 5 = 0.2。
-
裁剪后:(3 × 0.2, 4 × 0.2) = (0.6, 0.8),长度 1,方向不变。
-
对照课件代码:np.sum(grad * grad) 得 25,没开根号,缩放系数变成 1 / 25,结果 (0.12, 0.16),长度只有 0.2。
怎么算
若 ‖g‖ > 阈值,则 g ← g × 阈值 / ‖g‖。
意思是:梯度 g 的长度超过阈值时,按「阈值除以当前长度」的比例整体缩小,缩完长度恰好等于阈值。‖g‖ 要开根号,课件代码漏了这一步。
常见误解
以为裁剪也能救梯度消失
消失时梯度已经接近 0,长度远小于阈值,裁剪根本不会触发。就算强行放大,接近 0 的数里也没有有用的信息。课件对消失给的办法是改网络结构。
试一下
grad = (6, 8),阈值 5,裁剪后是多少?
长度 √(36 + 64) = 10 > 5,乘 5 / 10 = 0.5,得 (3, 4),长度 5。
把它们串起来
同一个数连乘,大于 1 就涨上天,小于 1 就缩到底,乘的次数越多越极端。
RNN 的反向传播正好是连乘:每退一步乘一次同一个 W_hhᵀ,外加一个不超过 1 的 tanh 导数。序列有多长,就乘多少次。
矩阵在各方向放大倍数不同,起决定作用的是最大奇异值:大于 1 爆炸,小于 1 消失。
爆炸靠裁剪压住,方向不变只缩长度。消失裁剪救不了,梯度已经没了,只能换一个反向时不乘 W 的结构。下一页的 LSTM 做的就是这件事。
课件里的坑
- ⚠️ 课件有误:梯度裁剪代码写 grad_norm = np.sum(grad * grad),算出的是范数的平方,没开根号。grad = (3, 4)、阈值 1 时,这段代码得 (0.12, 0.16),开根号后应是 (0.6, 0.8)(p.80)。
- [读图提醒] 梯度流那页的推导里,输入矩阵第一行写 W_xh、第二行写 W_hx,指的是同一个矩阵,下标前后不一致(p.76)。
- [读图提醒] 课件图上写「乘 W」,括注里说实际是 W_hhᵀ,答题时写转置(p.77)。
- [课件留白] 「最大奇异值大于 1 爆炸」是经验判据:小于 1 时梯度一定消失,大于 1 时 tanh 导数还会再压一层,不一定爆炸(p.79)。
课后 10 分钟:考点复习
这 10 分钟怎么用:前 3 分钟读必背 5 条,能默写拼 W 的式子和裁剪公式;中间 4 分钟做课件例题和完整例题,把三步回退的因子表自己填一遍;最后 3 分钟做变式题。
必背
- RNN 的状态更新可以把 W_hh 和 W_xh 拼成一个 W:hₜ = tanh(W (hₜ₋₁ ; xₜ))
- 反向每退一步乘一次 W_hhᵀ 和 tanh 导数;从 h₄ 传回 h₀ 要乘 4 次同一个 W_hhᵀ
- W 的最大奇异值大于 1 梯度爆炸,小于 1 梯度消失
- 梯度裁剪:梯度范数超过阈值时按 阈值 / 范数 缩放,方向不变;课件代码漏了开根号
- 梯度裁剪只治爆炸;消失时梯度已接近 0,要改网络结构,也就是 LSTM
课件例题
例 1(课件 p.76):为什么可以把 W_hh 和输入矩阵拼成一个 W?
题面:tanh(W_hh hₜ₋₁ + W_xh xₜ) 改写成 tanh(W (hₜ₋₁ ; xₜ))。
提示
把分块矩阵乘向量展开写一遍。
解答
把两个矩阵横向拼成一个大 W,把 hₜ₋₁ 和 xₜ 竖向拼成一个长向量,分块矩阵乘法展开后与原式相同。拼完之后只需讨论一个矩阵。
例 2(课件 p.77–78):从 h₄ 把梯度传回 h₀,要乘几次 W?
题面:课件括注反向一步乘的实际是 W_hhᵀ。
提示
数一数 h₄ 到 h₀ 之间有几条边。
解答
4 次 W_hhᵀ,每次还夹一个 tanh 导数的对角矩阵;序列长 T 就是 T 次。tanh 导数最大为 1,只会让梯度更小。四个 W_hhᵀ 是同一个矩阵,偏大一路偏大,偏小一路偏小。
例 3(课件 p.79):什么条件下梯度爆炸?什么条件下消失?
题面:课件只看 W 的最大奇异值。
提示
想想为什么只看「最大」的那个。
解答
最大奇异值大于 1 爆炸,小于 1 消失。看「最大」是因为同一个矩阵可能在一个方向放大、另一个方向缩小,只要有一个方向放大就可能炸开。
例 4(课件 p.80):按课件的裁剪代码,grad = (3, 4)、threshold = 1 时结果是什么?对吗?
题面:grad_norm = np.sum(grad * grad);若 grad_norm > threshold,则 grad *= (threshold / grad_norm)。
提示
先按代码原样算,再算一次真正的长度。
解答
代码得 grad_norm = 25,缩放后 (0.12, 0.16),长度 0.2,不等于阈值。原因是没开根号,算的是范数平方。改成 np.sqrt(np.sum(grad * grad)) = 5,缩放后 (0.6, 0.8),长度恰为 1。
例 5(课件 p.81):梯度裁剪能不能救梯度消失?
题面:课件对消失给的方案是 Change RNN architecture。
提示
消失时梯度的长度和阈值比,谁大?
解答
不能。消失时梯度已经接近 0,按比例缩放还是接近 0。根源是每一步都乘同一个 W 和 tanh 导数,所以要设计一条每步不乘 W 的通道,这就是 LSTM 的 c。
完整例题
题面(自编情境):标量 vanilla RNN,W_hh = 0.5,W_xh = 1,h₀ = 0,输入 x = (1, 0, 0),已算得 h₁ ≈ 0.7616,h₂ ≈ 0.3634,h₃ ≈ 0.1797。(a) 从 h₃ 传回 h₀,∂h₃/∂h₀ 是多少?(b) 若 W_hh 换成 1.5、不考虑 tanh 导数,传 10 步放大多少倍?换成 0.5 呢?
解法:
- h₃ → h₂ 的因子:0.5 × (1 − 0.1797²) = 0.5 × 0.968 ≈ 0.484。
- h₂ → h₁ 的因子:0.5 × (1 − 0.3634²) = 0.5 × 0.868 ≈ 0.434。
- h₁ → h₀ 的因子:0.5 × (1 − 0.7616²) = 0.5 × 0.420 ≈ 0.210。
- 相乘:0.484 × 0.434 × 0.210 ≈ 0.044。
- (b):1.5¹⁰ ≈ 57.67,爆炸;0.5¹⁰ ≈ 0.000977,消失。
要点:(a) 只退三步就剩不到二十分之一,每一步都乘了同一个 0.5,tanh 导数又各压了一层。(b) 是纯连乘,因子大于 1 还是小于 1 决定了方向。
答题格式:每一步写出 W_hh × (1 − h²) 的代入式,再写累积乘积;不要只给最后一个数。
变式题(先自己做)
(a) 标量 RNN,W_hh = 0.8,不考虑 tanh 导数,梯度往回传 10 步剩多少? (b) W = diag(1.1, 0.5),按课件判据会爆炸还是消失?各方向连乘 10 次大约是多少? (c) grad = (5, 12),阈值 2,正确的裁剪结果是什么?按课件代码会得到什么?
提示
(a) 直接连乘。(b) 对角矩阵的奇异值就是对角线上的数。(c) 先算 √(5² + 12²)。
判分点与答案(非官方评分标准)
判分点:① (b) 用最大奇异值下结论;② (c) 长度要开根号;③ (c) 说出课件代码少了哪一步。
(a) 0.8¹⁰ ≈ 0.107。
(b) 最大奇异值 1.1 > 1,判爆炸。1.1¹⁰ ≈ 2.59,0.5¹⁰ ≈ 0.000977。
(c) 长度 √(25 + 144) = 13 > 2,乘 2 / 13,得约 (0.769, 1.846),长度 2。课件代码算出 169,乘 2 / 169,得约 (0.059, 0.142),长度只有约 0.154。
闪卡自测
1. 从 hₜ 反向到 hₜ₋₁,梯度要乘什么?
乘 W,课件括注实际是 W_hhᵀ,另外还有 tanh 的导数(p.77、p.78)。
2. 什么条件下梯度爆炸?什么条件下消失?
W 的最大奇异值大于 1 爆炸,小于 1 消失(p.79)。
3. 梯度裁剪怎么做?课件代码哪里有问题?
范数超过阈值时乘 阈值 / 范数;课件代码 np.sum(grad * grad) 是范数平方,应先开根号(p.80)。
4. 梯度消失该怎么办?
裁剪救不了,要改网络结构,例如 LSTM(p.81)。
5. 为什么能把 W_hh 和 W_xh 拼成一个 W?
分块矩阵乘法:W 横拼,(hₜ₋₁ ; xₜ) 竖拼,展开与原式相同(p.76)。
下一讲
L07b-3 讲 LSTM:多加一条记忆通道 c,反向时只和遗忘门逐元素相乘、不乘 W,梯度就能传得更远。去之前把本页的三步回退表再填一遍,记住每一步都乘了同一个 W。
上一讲是 L07b-1:序列结构、RNN 递推、seq2seq 与看图说话。
个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。