L05b 梯度消失与 ReLU:为什么网络深了反而学不动
从链式法则是一串乘法讲起,看 sigmoid 怎么让梯度层层缩小,ReLU 怎么救回来又带出死神经元,Leaky ReLU 再怎么补上。
一句话版
反向传播算前面层的梯度时,要沿路乘上每一层激活函数的导数。sigmoid 的导数最大只有 0.25,层数一多,梯度越乘越小,前面的层几乎学不动。这叫梯度消失。
换成 ReLU,导数只取 0 或 1,梯度能原样传回。代价是有的单元会「死」掉,于是再换成 Leaky ReLU。
上一页讲了怎么用梯度走得省、走得顺。这一页讲梯度本身在路上丢了怎么办,对应课件三类问题里的「欠拟合」。
先认识这几个词
| 词 | 全称 / 读法 | 一句人话 |
|---|---|---|
| 链式法则 | chain rule | 复合函数求导时,把每一层的导数乘起来 |
| 激活函数 | activation function | 隐藏单元对加权和 s 做的那一步非线性变换 |
| sigmoid σ | 读「西格莫伊德」 | 把任意数压到 0 和 1 之间的 S 形函数 |
| 梯度消失 | gradient vanishing | 梯度往前传时越乘越小,前面的层学不动 |
| ReLU | Rectified Linear Unit,读「瑞路」 | 负数变 0、正数原样输出的激活函数 |
| 死神经元 | dead neuron | 输出恒为 0、梯度也传不过去的 ReLU 单元 |
| Leaky ReLU | 带泄漏的 ReLU | 负数段留一条很平的斜线,不完全归零 |
一个类比:传话游戏
一排人传一句话,每个人只能把听到的音量的一小部分传给下一个。传到第三四个人,后面的人已经几乎听不见了。
sigmoid 就是那个只肯传四分之一音量的人。网络越深,排的人越多,最前面的层收到的「该怎么改」的信号就越弱。
ReLU 像一个要么原样转述、要么干脆不说话的人。原样转述时信号不丢;可一旦他沉默,经过他的那条线就断了。
Leaky ReLU 让沉默的人也小声说一点,信号弱,但没断。
类比在哪里失效:
- 传话是一条线,网络里同一个权重的梯度往往是好几条路径之和,一条断了别的还在。
- 梯度变小不一定是坏事。真正的问题是前面的层和后面的层差了好几个数量级,学习速度严重失衡。
从零讲起
1. 先补一块:链式法则是一串乘法(补充)
它解决什么问题
上一讲用反向传播求出了网络里 10 个权重的梯度。要看懂梯度消失,得先看清这些式子长什么样:越靠前的权重,梯度式里乘的因子越多。
直觉
改动第一层的一个权重 w₁,影响要一层一层传到输出:w₁ 先改变 s₁,s₁ 改变 h₁,h₁ 又通过 w₅ 改变 s₃……最后改变 y 和损失 ℓ。
每经过一个环节,就乘上这个环节的「放大倍数」,也就是它的导数。倍数都小于 1,乘得越多,结果越小。
一步一步看
目标:沿 dℓ/dw₁ 经过 h₃ 的路径从输出往回逐段求导,数出这串乘法里有几个激活导数。
上一讲的 2-2-2-1 网络:输入 x₁、x₂,第一隐藏层 h₁、h₂,第二隐藏层 h₃、h₄,输出 y。看 dℓ/dw₁ 经过 h₃ 的那条路径,从输出往回走。
-
损失对 y 求导,得到 2(y − ȳ)。
-
y 对 h₃ 求导,得到连线权重 w₉。
-
h₃ 对 s₃ 求导,得到激活函数的导数 dh₃/ds₃。
-
s₃ 对 h₁ 求导,得到 w₅;h₁ 对 s₁ 求导,得到 dh₁/ds₁。
-
s₁ 对 w₁ 求导,得到输入 x₁。把这一串乘起来,就是这条路径的贡献。
环节 因子 是不是激活导数 ℓ → y 2(y − ȳ) 否 y → h₃ w₉ 否 h₃ → s₃ dh₃/ds₃ 是 s₃ → h₁ w₅ 否 h₁ → s₁ dh₁/ds₁ 是 s₁ → w₁ x₁ 否
这条路径上有两个激活导数因子。输出层的 w₉、w₁₀ 一个都没有,第二隐藏层的 w₅ 到 w₈ 各有一个。
怎么算
dℓ/dw₁ 有两条路径,经 h₃ 和经 h₄:
dℓ/dw₁ = 2(y−ȳ)·1·w₉·(dh₃/ds₃)·w₅·(dh₁/ds₁)·x₁ + 2(y−ȳ)·1·w₁₀·(dh₄/ds₄)·w₇·(dh₁/ds₁)·x₁
意思是:每条路径都是一串乘法,路径之间相加。式子里的 dh/ds 就是激活函数的导数,用 sigmoid 时它等于 σ(s)(1 − σ(s))。
常见误解
以为每个权重的梯度式里激活导数的个数一样
越靠前越多。输出层 w₉、w₁₀ 是 0 个,第二隐藏层 w₅ 到 w₈ 是 1 个,第一隐藏层 w₁ 到 w₄ 每条路径 2 个。梯度消失伤的正是前面这些层。
试一下
写出 dℓ/dw₅ 的链式乘积。它里面有几个激活导数因子?
w₅ 连的是 h₁ 到 h₃,只走一条路径:dℓ/dw₅ = 2(y−ȳ)·w₉·(dh₃/ds₃)·h₁。只有 dh₃/ds₃ 一个激活导数因子。
2. 梯度消失
它解决什么问题
网络加深以后,训练误差也降不下来,模型表现得像欠拟合。课件列了欠拟合的三个原因:层太少、神经元太少、激活函数不好。前两个是模型太简单;第三个就是梯度消失,网络够大也会学不动。
从哪来(补充)
Sepp Hochreiter 1991 年的毕业论文正式指出了这个问题。
出处:Wikipedia: Vanishing gradient problem
直觉
sigmoid 的导数像一座小山包,最高处在 s = 0,只有 0.25。s 稍微离开 0,它就迅速趴下去。
链式法则每往前一层,就多乘一个这样的数。每次最多剩四分之一,几层下来就所剩无几了。
一步一步看
目标:先看 sigmoid 导数最大只有 0.25,再连乘多层并代入例子,看前后两层的梯度怎样差出约 19 倍。
-
先看 sigmoid 导数的形状:s = 0 时最大 0.25,σ′(2) ≈ 0.105,σ′(5) ≈ 0.0066。
-
就算每层都取到最大值 0.25,隔 n 层也要乘 n 次。n = 2 剩 0.0625,n = 4 约 0.0039,n = 10 约 9.5×10⁻⁷。
-
代入上一讲的数值例子:x = (1, 0.5),目标 ȳ = 1。输出层 dℓ/dw₁₀ = −1.5262,第一层 dℓ/dw₁ = −0.0784。
-
两者相除约 19 倍。这个网络只有两个隐藏层,前后两层的学习速度已经差了一个数量级。
怎么算
sigmoid 的导数:
σ′(s) = σ(s)·(1 − σ(s))
意思是:导数等于函数值乘「1 减函数值」。σ(s) 在 0 和 1 之间,两个加起来等于 1 的数相乘,最大是 0.5 × 0.5 = 0.25,在 σ(s) = 0.5(也就是 s = 0)时取到。
只看激活导数因子,隔 n 层的上限是:
上限 = 0.25ⁿ
意思是:每多一层就再乘一个不超过 0.25 的数,梯度按指数缩小。这就是课件说的「隐藏层用 sigmoid 很可能导致梯度消失」。
常见误解
以为欠拟合只可能是模型太小
课件并列了三个原因,第三个是激活函数不好。网络层数、神经元都够,前面层的梯度太小、参数几乎不动,模型照样训练不起来。
以为 0.25ⁿ 是梯度的准确值
它只是激活导数因子的上限。真实梯度还要乘权重和输入,也可能有多条路径相加。上限说明的是趋势:层数一多,前面的层注定吃亏。
试一下
一个网络有 3 个 sigmoid 隐藏层。只看激活导数因子,第一层权重的梯度最多剩多少倍?
0.25³ = 0.015625,不到原来的 1/64。
3. ReLU 与死神经元
它解决什么问题
既然问题出在 sigmoid 的导数太小,就换一个导数不缩水的激活函数。ReLU 的导数只取 0 或 1,取 1 时梯度原样传回。
从哪来(补充)
Kunihiko Fukushima 1969 年在视觉特征提取的工作里就用过这种函数。Nair 和 Hinton 2010 年把它用在受限玻尔兹曼机上;Glorot、Bordes、Bengio 2011 年发现深层 ReLU 网络不靠预训练也能训练好,之后它成了深度网络的常用激活函数。条目还提到,ReLU 受梯度消失影响小,是因为它只在一个方向上饱和。
出处:Wikipedia: Rectified linear unit
直觉
ReLU 是一个开关:s 为正就原样放行,s 为负就输出 0。放行时导数是 1,梯度一点不打折;关上时导数是 0,梯度全部挡住。
挡住的那一刻,问题来了。一个单元的 s 为负,它的输出和导数都是 0,经过它的所有路径梯度都是 0,它的入边权重得不到更新。如果对所有样本都这样,它就一直关着,这就是死神经元。
一步一步看
目标:把同一网络的隐藏单元换成 ReLU 再算前向和反向,看 h₃ 输出 0 时它的梯度全断,其余梯度同一量级。
还是上一讲的网络、同一组输入和权重,只把四个隐藏单元换成 ReLU。
-
前向先算加权和:s₁ = 0.25,s₂ = 0.7,s₃ = −0.45,s₄ = 0.475。
-
过 ReLU:s₃ 为负,h₃ = 0;其余原样输出。输出 y = −0.475,离目标 1 很远,损失 ℓ = 2.1756。
-
反向:h₃ 的导数是 0,经过它的 dℓ/dw₅、dℓ/dw₆、dℓ/dw₉ 全为 0。h₃ 这次学不动。
-
另一条路还通:dℓ/dw₁ = 1.475,dℓ/dw₁₀ = −1.4013。第一层和输出层的梯度同一量级,sigmoid 时的 19 倍差距没了。
怎么算
ReLU 和它的导数:
ReLU(s) = max(0, s)
dReLU/ds = 1(s > 0 时),0(s < 0 时)
意思是:正数段斜率 1,负数段斜率 0。课件把导数写成 max(0, s)/s,s 为正时等于 1,s 为负时等于 0。
dℓ/dw₁ 的展开式和 sigmoid 版结构一样,只把 σ′ 换成 ReLU 的导数:
dℓ/dw₁ = 2(y−ȳ)·w₉·(dh₃/ds₃)·w₅·(dh₁/ds₁)·x₁ + 2(y−ȳ)·w₁₀·(dh₄/ds₄)·w₇·(dh₁/ds₁)·x₁
意思是:上例中 dh₃/ds₃ = 0,第一条路径整条归零,梯度全靠经 h₄ 的第二条路径传回。
常见误解
以为 ReLU 只有正数部分,所以是线性函数
ReLU 在 0 处拐了一个弯,整体不是一条直线。正是这个拐点给网络带来非线性,本讲最后一页会看到它怎么拼出复杂的折线。
以为一次 s 为负,这个单元就永久死了
一个样本让 s 为负,只是这个样本上梯度为 0。换一个样本 s 可能为正,单元还会更新。对所有样本 s 都为负,它才真的死了。条目补充说,学习率设得太高是死 ReLU 常见的诱因。
试一下
某 ReLU 单元的加权和 s = 1.2,它的输出和导数是多少?如果 s = −0.3 呢?
s = 1.2:输出 1.2,导数 1。s = −0.3:输出 0,导数 0,这个样本上经过它的梯度全部为 0。
4. Leaky ReLU
它解决什么问题
ReLU 的负数段导数是 0,单元一旦关上就可能再也学不动。Leaky ReLU 给负数段留一条很平的斜线,导数是一个小数 a,梯度不会完全断掉。
从哪来(补充)
Leaky ReLU 由 Andrew Maas、Awni Hannun、Andrew Ng 提出。
出处:Wikipedia: Rectified linear unit
直觉
把 ReLU 的开关换成一个关不严的水龙头。正数段照常放行;负数段只漏一点点,漏的比例就是 a。课件取 a = 0.02。
一步一步看
目标:同一例子换成 Leaky ReLU,看 h₃ 负数段留一点斜率后,原来为 0 的三个梯度变小但不再为 0。
-
先把三个激活函数放在一起比:sigmoid 是 S 形,ReLU 负数段贴着 0,Leaky ReLU 负数段是一条很平的斜线。
-
同一个例子换成 Leaky ReLU:h₃ = 0.02 × (−0.45) = −0.009,不再是 0。
-
输出变成 y = −0.484,损失约 2.2023。
-
原来为 0 的三个梯度变成 dℓ/dw₅ ≈ −0.0148、dℓ/dw₆ ≈ −0.0416、dℓ/dw₉ ≈ 0.0267。很小,但 h₃ 的入边权重会被更新。
怎么算
Leaky ReLU 和它的导数:
f(s) = s(s > 0 时),a·s(s < 0 时)
df/ds = 1(s > 0 时),a(s < 0 时)
意思是:负数段斜率从 0 改成 a。课件把 dh₃/ds₃ 写成 a·min(0, s₃)/s₃ + max(0, s₃)/s₃,代入正负两种情况就是上面两行。dℓ/dw₁ 的展开式和 ReLU 版一字不差。
三种激活函数的导数要一起记:sigmoid 是 σ(1 − σ)、最大 0.25;ReLU 是 {0, 1};Leaky ReLU 是 {a, 1}。
常见误解
以为 a 越大越好,反正梯度更大
a 取到 1,负数段和正数段斜率一样,函数就成了一条直线,网络失去非线性。a 要小,课件取 0.02,只求负区留一点梯度。
试一下
把 a 改成 0.1,同一个 s₃ = −0.45,h₃ 和 dh₃/ds₃ 各是多少?
h₃ = 0.1 × (−0.45) = −0.045,dh₃/ds₃ = 0.1。
把它们串起来
反向传播求前面层的梯度,是沿路乘上每个环节的导数。激活函数的导数是其中一类因子,越靠前的权重乘得越多。
sigmoid 的导数最大 0.25,层层相乘,前面层的梯度按指数缩小。这就是梯度消失,它让网络表现得像欠拟合。
换成 ReLU,导数取 1 时梯度原样传回,前后层的梯度回到同一量级。但导数取 0 时整条路径断掉,可能出现死神经元。Leaky ReLU 让负数段保留斜率 a,路径不再完全断开。
三次替换里,dℓ/dw₁ 的展开式结构从没变过,变的只是 dh/ds 这一个因子。下一页换个地方改:不动激活函数,改损失函数,用来对付过拟合。
课件里的坑
- [读图提醒] p.16 把 ReLU 导数写成 max(0, s)/s,s = 0 时是 0/0,没有定义。实现中通常把 s = 0 处的导数取 0
- [读图提醒] p.15 的结论用词是 is likely to(很可能)导致梯度消失,不是「一定」。0.25ⁿ 只是激活导数因子的上限
- [口径差异] 欠拟合在前几讲指模型太简单;这一讲 p.15 把「激活函数不好」也列为原因,指的是梯度消失让模型训练不起来
- [记号] p.17 课件 a = 0.02 是举例取值,题目给别的 a 就按题目算
课后 10 分钟:考点复习
这 10 分钟怎么用:合上页面,先默写三种激活函数的导数;再写出 dℓ/dw₁ 的两条路径,圈出激活导数因子;然后用 s₃ = −0.45 说出 ReLU 和 Leaky ReLU 下 h₃ 各输出多少;最后回查「欠拟合三个原因」。
必背
- sigmoid 导数最大 0.25,层层相乘导致梯度消失;ReLU 导数 {0, 1},Leaky ReLU 导数 {a, 1}。
- 欠拟合的三个原因:层太少、神经元太少、激活函数不好;第三个就是梯度消失。
- 只看 sigmoid 导数因子,隔 n 层梯度上限是 0.25ⁿ,层数一多前面层学不动。
- ReLU 导数为 1 时梯度原样传回,缓解梯度消失;代价是 s < 0 时出现死神经元。
- Leaky ReLU 负区斜率为 a(课件 a = 0.02),死掉的单元仍有小梯度、能慢慢恢复。
- 换激活函数只改 dℓ/dw 里的激活导数因子,展开式结构不变。
课件例题
例 2(课件 p.15):在 10 个梯度式里数 sigmoid 导数
题面:上一讲 10 个梯度式里,把 sigmoid 导数因子 σ(s)(1−σ(s)) 圈出来。数一数每个梯度有几个这样的因子,并解释为什么隐藏层用 sigmoid 容易梯度消失。
提示
按层分三组数:输出层 w₉、w₁₀,第二隐藏层 w₅ 到 w₈,第一隐藏层 w₁ 到 w₄。再想 σ′ 最大是多少。
解答
- dℓ/dw₅ 到 dℓ/dw₈ 每项一个因子,σ′(s₃) 或 σ′(s₄)。dℓ/dw₁ 到 dℓ/dw₄ 每条路径两个,再多乘 σ′(s₁) 或 σ′(s₂)。输出层 w₉、w₁₀ 没有。
- σ′(s) 最大 0.25,在 s = 0 处取到,|s| 一大就迅速变小。n 层的上限是 0.25ⁿ,n = 2 为 0.0625。
- 用上一讲的数值例子:dℓ/dw₁₀ = −1.5262,dℓ/dw₁ = −0.0784,只有约 1/19。只隔两层就差一个数量级,前面的层学不动,表现为欠拟合。
例 3(课件 p.16):换成 ReLU,重写 dℓ/dw₁
题面:四个隐藏单元从 sigmoid 换成 ReLU(s) = max(0, s),其余不变。写出 dℓ/dw₁,并说明 ReLU 的好处和代价。
提示
展开式的结构不用重推,只换 dh/ds。想想 dh/ds 能取哪几个值,各对应什么后果。
解答
- 结构和原来一样,只把 σ′ 换成 ReLU 的导数:dℓ/dw₁ = 2(y−ȳ)·w₉·(dh₃/ds₃)·w₅·(dh₁/ds₁)·x₁ + 2(y−ȳ)·w₁₀·(dh₄/ds₄)·w₇·(dh₁/ds₁)·x₁。
- dh/ds 只取 0 或 1:s > 0 时为 1,s < 0 时为 0。为 1 时梯度原样传回,不再逐层缩小。
- 代价是死神经元:某单元 s < 0 时输出和导数都是 0,经过它的梯度全为 0。
- 用上一讲的数值验算:s₃ = −0.45,h₃ 死了,dℓ/dw₅、dℓ/dw₆、dℓ/dw₉ 全为 0;dℓ/dw₁ = 1.475,dℓ/dw₁₀ = −1.4013,两者同一量级。
例 4(课件 p.17):换成 Leaky ReLU
题面:负半轴斜率改成 a,课件取 a = 0.02。dh₃/ds₃ 怎么写?死神经元还会死吗?
提示
只改负数段:原来负数段导数是 0,现在是多少?
解答
- dh/ds 取 a 或 1:s < 0 时为 a,s > 0 时为 1。dℓ/dw₁ 的展开式和 ReLU 版一字不差。
- 负区梯度是小数 a,单元还能慢慢恢复。
- 数值验算:h₃ = 0.02 × (−0.45) = −0.009,y = −0.484。原来为 0 的三个梯度变成约 −0.0148、−0.0416、0.0267,很小但不是 0。
完整例题
题面(课件 p.16–17 的网络,数值沿用上一讲):2-2-2-1 网络,四个隐藏单元换成 ReLU。已知 x₁ = 1,ȳ = 1,第一隐藏层输出 h₁ = 0.25、h₂ = 0.7;第二层权重 w₅ = 1.0、w₆ = −1.0(连到 h₃),w₇ = 0.5、w₈ = 0.5(连到 h₄);输出层 w₉ = 1.0、w₁₀ = −1.0,y = w₉h₃ + w₁₀h₄,损失 ℓ = (y − ȳ)²。(a) 求 h₃、h₄、y、ℓ。(b) 求 dℓ/dw₉、dℓ/dw₁₀、dℓ/dw₁。(c) 换成 a = 0.02 的 Leaky ReLU,重求 h₃、y 和 dℓ/dw₉。
解法:
- (a) s₃ = 1.0×0.25 − 1.0×0.7 = −0.45,ReLU 后 h₃ = 0。s₄ = 0.5×0.25 + 0.5×0.7 = 0.475,h₄ = 0.475。
- y = 1.0×0 + (−1.0)×0.475 = −0.475,ℓ = (−0.475 − 1)² = 1.475² ≈ 2.1756。
- (b) 先算公共因子 2(y − ȳ) = 2×(−1.475) = −2.95。
- dℓ/dw₉ = −2.95 × h₃ = 0。dℓ/dw₁₀ = −2.95 × 0.475 ≈ −1.4013。
- dℓ/dw₁:经 h₃ 的路径有 dh₃/ds₃ = 0,整条为 0;经 h₄ 的路径 = −2.95 × w₁₀ × 1 × w₇ × 1 × x₁ = −2.95 × (−1.0) × 0.5 × 1 = 1.475。
- (c) h₃ = 0.02×(−0.45) = −0.009,y = 1.0×(−0.009) − 0.475 = −0.484。2(y − ȳ) = −2.968,dℓ/dw₉ = −2.968 × (−0.009) ≈ 0.0267。
要点:ReLU 下 dℓ/dw₁ = 1.475,和 dℓ/dw₁₀ 同一量级,sigmoid 时只有约 1/19。代价是 h₃ 相关的梯度全为 0;Leaky ReLU 让它变成一个小的非零数。
答案:(a) h₃ = 0,h₄ = 0.475,y = −0.475,ℓ ≈ 2.1756;(b) 0、−1.4013、1.475;(c) h₃ = −0.009,y = −0.484,dℓ/dw₉ ≈ 0.0267。
答题格式:先列 s,再过激活写 h,再算 y 和 ℓ;反向时先写公共因子 2(y − ȳ),每个梯度写成「公共因子 × 路径上其余因子」。
变式题(先自己做)
(1) 自编情境:只看激活导数因子,一个网络有 4 个 sigmoid 隐藏层。第一层权重的梯度最多剩多少倍?换成全部 s > 0 的 ReLU 呢? (2) 自编情境:同完整例题的网络,但 w₅ = 2.0、w₆ = −0.5,其余不变,仍用 ReLU。求 s₃、h₃、y,并判断 h₃ 是否还是死神经元。 (3) 自编情境:用 a = 0.1 的 Leaky ReLU,某单元 s = −2,求输出和导数。
提示
(1) 0.25 的几次方;ReLU 在 s > 0 时导数是多少?(2) s₃ = w₅h₁ + w₆h₂,先看正负再过 ReLU。(3) 负数段斜率是 a。
判分点与答案(非官方评分标准)
判分点:① (1) 要写出 0.25ⁿ 的形式;② (2) 先判断 s₃ 正负再写 h₃;③ (3) 导数是 a 不是 0。
(1) 0.25⁴ ≈ 0.0039;ReLU 全部 s > 0 时每层导数为 1,激活导数因子的乘积是 1,不缩小。
(2) s₃ = 2.0×0.25 − 0.5×0.7 = 0.15,为正,h₃ = 0.15,不再是死神经元。y = 1.0×0.15 − 1.0×0.475 = −0.325。
(3) 输出 0.1×(−2) = −0.2,导数 0.1。
闪卡自测
1. 为什么 sigmoid 会导致梯度消失?标准答法是什么?
σ′ ≤ 0.25,链式法则中每层乘一次,层数一多梯度指数级衰减,前面层学不动(p.15)。
2. 6 个 sigmoid 隐藏层,只看 sigmoid 导数因子,第一层梯度最多被缩小到多少倍?
0.25⁶ ≈ 0.000244(p.15)。
3. 欠拟合的三个原因是什么?
层太少、神经元太少、激活函数不好(p.15)。
4. 什么是死神经元?怎么缓解?
ReLU 单元的输入 s < 0 时输出和导数都是 0,经过它的梯度全为 0,入边权重不更新;换成 Leaky ReLU,负区导数为 a(课件 a = 0.02)(p.16–17)。
5. ReLU 解决了什么问题,又带来什么问题?
导数为 1,梯度不再逐层缩小,缓解梯度消失;s < 0 时导数为 0,出现死神经元(p.16)。
6. 从 ReLU 换成 Leaky ReLU,dℓ/dw₁ 的展开式哪里变了?
展开式一字不差,只是 dh/ds 在负区的取值从 0 变成 a(p.17)。
下一讲
本讲下一页讲过拟合:在损失里加 L2、L1 惩罚,以及早停、dropout、数据增强。见 L05c。
个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。