L06e 反向传播:把误差一层层算回去
先补链式法则,再拿逻辑回归演示反向传播的四行,最后在 2-2-1 小网络上逐帧算出每个权重的梯度,纠正课件最后一行求和放错的位置。
一句话版
梯度下降要知道每个权重的斜率。反向传播是算这些斜率的办法:先做一遍前向,把每层的中间值存下来;再从损失出发往回走,每过一层就乘上这一层的本地导数。
它背后只有一个数学工具:链式法则。
先认识这几个词
| 词 | 全称 / 读法 | 一句人话 |
|---|---|---|
| 链式法则 | chain rule | 复合函数求导时,把每一环的导数乘起来 |
| 本地导数 | local derivative | 只看相邻两个量时,后一个对前一个的导数 |
| 上游导数 | upstream derivative | 损失对「当前这个量」的导数,从后面已经算好传过来 |
| 反向传播 | backpropagation,简称 backprop | 用链式法则从损失出发逐层算出每个权重的梯度 |
| y* | 读「y 星」 | 样本的真实标签 |
| 有限差分 | finite difference | 把参数挪一点点看损失变多少,用来核对梯度 |
一个类比:项目被否之后追责
一个评审小组:两位初审各自打分,终审看两人的分数给出结论。假如项目其实很好却被否了,就要追责。
终审先看自己偏信了谁,再把「该往哪边改」的信号按信任程度分给两位初审。初审再据此调整自己对每项材料的权重。
追责信号一路往回传,每传一步都要乘上「这一环影响多大」。这就是反向传播。
类比在哪里失效:
- 每一步的「影响多大」是精确算出来的导数,不靠感觉。
- 真实追责常常只追一条线。网络里一个输入连到所有隐藏节点,它的梯度要把每条路径的责任加起来。
从零讲起
1. 先补一块:链式法则(补充)
它解决什么问题
网络的损失 J 是一长串函数套起来的:输入经过加权求和、sigmoid、再加权求和、再 sigmoid,最后算交叉熵。要求 J 对最前面某个权重的导数,就要会给「函数套函数」求导。这个工具叫链式法则。
从哪来(补充)
链式法则最早似乎由 Gottfried Wilhelm Leibniz 使用,他在 1676 年的一份手稿里首次提到它,当时的计算里还带了一个符号错误。
直觉
x 变一点,u 跟着变;u 变一点,y 跟着变。x 对 y 的影响,就是这两段影响相乘。
比如 u 的变化速度是 x 的 3 倍,y 的变化速度是 u 的 6 倍,那 y 的变化速度就是 x 的 3 × 6 = 18 倍。
一步一步看
目标:拿 u = 3x、y = u² 先前向算值再逐段求本地导数,看两段相乘得 18,和直接求导对得上。
拿 u = 3x、y = u² 在 x = 1 处算一遍。
-
前向算值:x = 1,u = 3 × 1 = 3,y = 3² = 9。
-
第一段本地导数:du/dx = 3。
-
第二段本地导数:dy/du = 2u = 2 × 3 = 6。这里要用前向时算出的 u = 3。
-
两段相乘:dy/dx = 6 × 3 = 18。
-
直接验算:y = (3x)² = 9x²,dy/dx = 18x,x = 1 时等于 18,对上了。
怎么算
dy/dx = dy/du × du/dx
意思是:要求最外层对最里层的导数,就把中间每一环的本地导数依次乘起来。链有多长就乘多少个。
一个变量走多条路影响结果时,每条路各乘一遍,再加起来:
dy/dx = Σ(每条路径上本地导数的乘积)
意思是:x 同时通过 u₁ 和 u₂ 影响 y 时,dy/dx = dy/du₁ × du₁/dx + dy/du₂ × du₂/dx。网络里一个输入连到所有隐藏节点,就是这种情况。
常见误解
以为本地导数和前向算出的值无关
很多本地导数要用前向的值。dy/du = 2u 要知道 u = 3 才能算出 6。所以反向传播之前必须先做前向,并把中间值存下来。
以为多条路径时取最大的那条
要全部相加。少加一条路径,梯度就错了。
试一下
u = x + 2,y = 5u,求 x = 1 处的 dy/dx。
du/dx = 1,dy/du = 5,dy/dx = 5 × 1 = 5。
u₁ = 2x,u₂ = x,y = u₁ + 3u₂。x 走两条路影响 y,dy/dx 是多少?
路径一:dy/du₁ × du₁/dx = 1 × 2 = 2。路径二:dy/du₂ × du₂/dx = 3 × 1 = 3。相加 dy/dx = 5。验算:y = 2x + 3x = 5x。
2. 逻辑回归的反向传播
它解决什么问题
课件先拿最简单的情况演示:一个逻辑回归神经元。前向是 a = θᵀx → y = σ(a) → J。要求 J 对每个权重 θⱼ 的导数,才能做梯度下降。
直觉
从 J 往回走三步:先问 J 对 y 多敏感,再问 y 对 a 多敏感,最后问 a 对 θⱼ 多敏感,三个数乘起来。
前两步乘出来的结果特别干净:交叉熵的导数和 sigmoid 的导数相乘,正好化简成 y − y*,就是「预测减真实值」。
一步一步看
目标:沿用 L06a 的样本从损失往回求 θ 的梯度,看按它更新一步后损失真的变小了。
用 L06a 算过的例子:θ = (0, 0.5, −0.5),x = (1, 2, 1),y* = 1。
-
前向(已存好):a = 0.5,y = 0.6225,J = −log 0.6225 = 0.4741。
-
dJ/dy = −y*/y = −1/0.6225 = −1.6065。
-
dJ/da = dJ/dy × y(1 − y) = −1.6065 × 0.6225 × 0.3775 = −0.3775。它正好等于 y − y* = 0.6225 − 1。
-
dJ/dθ = dJ/da × x = −0.3775 × (1, 2, 1) = (−0.3775, −0.7551, −0.3775)。
-
用 η = 0.1 走一步,新 θ = 旧 θ − 0.1 × 梯度。算出来 θ = (0.0378, 0.5755, −0.4622)。
-
再做一次前向:y 升到 0.674,J 降到 0.3945。损失变小了,梯度方向是对的。
怎么算
课件的四行,按带负号的交叉熵写:
| 行 | 上游 × 本地 | 结果 |
|---|---|---|
| 1 | dJ/dy | −y*/y + (1 − y*)/(1 − y) |
| 2 | dJ/da = (dJ/dy)(dy/da),dy/da = σ(a)(1 − σ(a)) | y − y* |
| 3 | dJ/dθⱼ = (dJ/da)(da/dθⱼ),da/dθⱼ = xⱼ | (y − y*)xⱼ |
| 4 | dJ/dxⱼ = (dJ/da)(da/dxⱼ),da/dxⱼ = θⱼ | (y − y*)θⱼ |
意思是:每一行都是「上一行算好的导数 × 这一环的本地导数」。
第 2 行的化简:dy/da 在课件里写成 exp(−a)/(exp(−a) + 1)²,整理后就是 σ(a)(1 − σ(a))。a = 0.7 时两边都等于 0.2217。它乘上第 1 行,分母里的 y 和 1 − y 被约掉,剩下 y − y*。
第 4 行训练时用不上,因为输入不是参数。课件列出来,是因为到了网络里,隐藏层的「输入」就是上一层的输出,这一行正是把梯度传到更前一层的那一步。
常见误解
照抄课件第 1 行 dJ/dy = y*/y + (1 − y*)/(y − 1)
那是配合漏了负号的 J 算的,求导本身没错,但符号整体反了。按带负号的交叉熵,应取它的相反数,第 2 行才得到 y − y*;照抄原式得到 y* − y,梯度方向反过来。
以为反向传播会更新参数
反向传播只算出梯度。更新参数是梯度下降那一步:θ ← θ − η × 梯度。
试一下
同一个逻辑回归,若真实标签换成 y* = 0,dJ/da 和 dJ/dθ 是多少?θ 会往哪个方向变?
dJ/da = y − y* = 0.6225 − 0 = 0.6225。dJ/dθ = 0.6225 × (1, 2, 1) = (0.6225, 1.245, 0.6225),全为正,梯度下降会让 θ 整体变小,y 往 0 靠。
3. 2-2-1 网络的反向传播
它解决什么问题
课件把逻辑回归的四行扩展到单隐藏层网络,变成七行。这一节用 L06b 那个 2-2-1 小网络,把七行一帧一帧算出来,并纠正课件最后一行的错误。
从哪来(补充)
现代反向传播最早由 Seppo Linnainmaa 在 1970 年以「自动微分的反向模式」发表。David Rumelhart、Geoffrey Hinton、Ronald Williams 先在 1985 年的论文里发表了这一算法。1986 年他们又在 Nature 上发表了实验分析,这几篇论文被大量引用,让方法流行起来。课件时间线上的 1986 指的就是这一段。
直觉
输出层那一段,和逻辑回归一模一样,只是 a、θ 换成了 b、β。
多出来的是「穿过隐藏层」:先乘输出权重 β 把梯度送进隐藏节点,再乘隐藏节点的 sigmoid 导数 z(1 − z),就到了隐藏层的加权和 a。从 a 往前,又是一遍逻辑回归。
一步一步看
目标:在存好前向结果的 2-2-1 网络上从输出往回求每个权重的梯度,看更新一次后损失下降。
前向在 L06b 已经算完并存好。输入 x = (1, 2),隐藏层 a = (0.5, 0.1)、z = (0.6225, 0.525)。输出 b = 0.1012,y = 0.5253,y* = 1,J = 0.6438。权重 α₁ = (0.1, 0.2),α₂ = (0.3, −0.1),β = (0.5, −0.4)。
-
输出端:dJ/db = y − y* = 0.5253 − 1 = −0.4747。
-
输出层权重:dJ/dβⱼ = dJ/db × zⱼ。dJ/dβ₁ = −0.4747 × 0.6225 = −0.2955,dJ/dβ₂ = −0.4747 × 0.525 = −0.2492。
-
穿过隐藏层,先乘 β 得 dJ/dz。dJ/dz₁ = −0.4747 × 0.5 = −0.2374。dJ/dz₂ = −0.4747 × (−0.4) = 0.1899。再乘 z(1 − z),其中 z₁(1 − z₁) = 0.235,z₂(1 − z₂) = 0.2494。得 dJ/da₁ = −0.2374 × 0.235 = −0.0558。dJ/da₂ = 0.1899 × 0.2494 = 0.0474。
-
输入层权重:dJ/dαⱼᵢ = dJ/daⱼ × xᵢ。dJ/dα₁ = −0.0558 × (1, 2) = (−0.0558, −0.1116)。dJ/dα₂ = 0.0474 × (1, 2) = (0.0474, 0.0947)。
-
对输入(两条路相加):dJ/dx₁ = −0.0558 × 0.1 + 0.0474 × 0.3 = 0.0086。dJ/dx₂ = −0.0558 × 0.2 + 0.0474 × (−0.1) = −0.0159。
-
用 η = 0.5 更新全部六个权重,再做一次前向:y 升到 0.5714,J 从 0.6438 降到 0.5597。
怎么算
课件的七行,按带负号的交叉熵、并修正最后一行:
| 行 | 公式 | 本地导数用了什么 |
|---|---|---|
| 1 | dJ/dy = −y*/y + (1 − y*)/(1 − y) | 前向的 y |
| 2 | dJ/db = (dJ/dy) · y(1 − y) = y − y* | 前向的 y |
| 3 | dJ/dβⱼ = (dJ/db) · zⱼ | 前向存下的 zⱼ |
| 4 | dJ/dzⱼ = (dJ/db) · βⱼ | 权重 βⱼ |
| 5 | dJ/daⱼ = (dJ/dzⱼ) · zⱼ(1 − zⱼ) | 前向存下的 zⱼ |
| 6 | dJ/dαⱼᵢ = (dJ/daⱼ) · xᵢ | 输入 xᵢ |
| 7 | dJ/dxᵢ = Σⱼ (dJ/daⱼ) · αⱼᵢ,j 从 1 起 | 权重 αⱼᵢ |
意思是:第 1 到 3 行就是逻辑回归那四行把 a、θ 换成 b、β。第 4 行把梯度从输出层送进隐藏层;第 5、6 行在隐藏层里再做一遍逻辑回归;第 7 行把 xᵢ 连到所有隐藏节点的每条路径加起来。
问某个权重的梯度,就沿 J → y → b → z → a → 该权重把每段本地导数乘起来:
dJ/dαⱼᵢ = (y − y*) · βⱼ · zⱼ(1 − zⱼ) · xᵢ
意思是:输出误差,乘这条路上的输出权重,乘隐藏节点的 sigmoid 斜率,乘这条边的输入。
常见误解
照抄课件第 7 行 dJ/dxᵢ = (dJ/daⱼ) · Σⱼ αⱼᵢ
求和放错了位置。对单个 j,daⱼ/dxᵢ = αⱼᵢ,不带求和。xᵢ 同时影响所有隐藏节点,求和要放在外面:dJ/dxᵢ = Σⱼ (dJ/daⱼ) αⱼᵢ。z₀ 是常数偏置,不依赖 xᵢ,所以 j 从 1 起。拿 3 输入、2 隐藏节点的随机权重做数值检查:有限差分和正确写法都是 −0.000547,课件原式算出 0.006109 和 0.017513。
以为可以先算反向再算前向
不行。第 3、5 行要用前向存下的 zⱼ,第 1、2 行要用 y。没有前向的中间值,本地导数算不出来。
试一下
只用一条链,验算 dJ/dα₁₂(x₂ 连到 z₁ 那条边)。
dJ/dα₁₂ = (y − y*) · β₁ · z₁(1 − z₁) · x₂ = −0.4747 × 0.5 × 0.235 × 2 ≈ −0.1116。 这和第 4 帧一致。
把它们串起来
梯度下降要知道损失对每个权重的斜率,反向传播负责把它们算出来。
它只用一个数学工具:链式法则。复合函数的导数等于每一环本地导数相乘;一个变量走多条路时,每条路各乘一遍再相加。
逻辑回归是最短的链:J → y → a → θ。交叉熵的导数乘 sigmoid 的导数,化简成 y − y*,于是梯度是 (y − y*)xⱼ。
单隐藏层网络是把这条链接长:输出层那段和逻辑回归一样;乘 β 穿进隐藏层,再乘 z(1 − z),又是一遍逻辑回归。每一行只需要上一行的结果和前向存下的值,所以总是先做前向、再做反向。一个输入连到所有隐藏节点,它的梯度要把各条路径加起来,课件最后一行在这里写错了。
课件里的坑
- [⚠️ 课件有误] 逻辑回归和神经网络两页的 J 都写成 y* log y + (1 − y*) log(1 − y),少了负号;第 1 行的 dJ/dy 和原式配套,换成带负号的 J 后要取相反数(p.47、p.48)
- [⚠️ 课件有误] 神经网络页最后一行把 Σⱼ 放进了 daⱼ/dxᵢ;对单个 j,daⱼ/dxᵢ = αⱼᵢ,求和应放在外面,且 j 从 1 起(p.48)
- [读图提醒] 标题里 gradient 拼成 gradiant(p.47)
- [读图提醒] 逻辑回归页前向式的求和上限写成 D,右上角网络图的输入编号到 x_M,两处指同一组输入(p.47)
课后 10 分钟:考点复习
这 10 分钟怎么用:先默写链式法则和 dJ/da = y − y*;再闭卷写出七行反向表,每行标出本地导数用了什么;然后把 2-2-1 例子从 dJ/db 算到 dJ/dx;最后做变式题,重点看梯度的符号有没有搞反。
必背
- 链式法则:复合函数的导数等于每一环本地导数相乘,dy/dx = dy/du × du/dx
- 反向传播 = 链式法则沿前向的反方向逐层相乘;每一步写成「上游导数 × 本地导数」,必须先做前向把中间值存下来
- sigmoid 配带负号的交叉熵时 dJ/da = y − y*,于是逻辑回归 dJ/dθⱼ = (y − y*)xⱼ
- 单隐藏层网络:dJ/dβⱼ = (dJ/db)zⱼ,dJ/dzⱼ = (dJ/db)βⱼ,dJ/daⱼ = (dJ/dzⱼ)zⱼ(1 − zⱼ),dJ/dαⱼᵢ = (dJ/daⱼ)xᵢ
- 一个变量影响多条路径时梯度要求和:dJ/dxᵢ = Σⱼ (dJ/daⱼ) αⱼᵢ;课件最后一行把求和放错了位置
- 反向传播只负责算梯度,更新参数靠梯度下降
课件例题
例 1(课件 p.47):逻辑回归的反向传播四行怎么写?
题面:前向 a = Σⱼ θⱼxⱼ → y = σ(a) → J。写出 dJ/dy、dJ/da、dJ/dθⱼ、dJ/dxⱼ。
提示
每行都是「上一行 × 本地导数」;第 2 行乘完后化简,分母会约掉。
解答
按带负号的交叉熵:dJ/dy = −y*/y + (1 − y*)/(1 − y);dJ/da = (dJ/dy) · σ(a)(1 − σ(a)) = y − y*;dJ/dθⱼ = (y − y*)xⱼ;dJ/dxⱼ = (y − y*)θⱼ。最后一行训练时用不上,列出来是因为在网络里它就是把梯度传到前一层的那一步。
例 2(课件 p.48):单隐藏层网络的反向传播表。
题面:前向为 aⱼ = Σᵢ αⱼᵢxᵢ → zⱼ = σ(aⱼ) → b = Σⱼ βⱼzⱼ → y = σ(b) → J,写出七行反向表。
提示
前三行照搬逻辑回归,把 a、θ 换成 b、β;然后乘 β 进入隐藏层,再乘 z(1 − z)。
解答
七行依次是 dJ/dy、dJ/db = y − y*、dJ/dβⱼ = (dJ/db)zⱼ、dJ/dzⱼ = (dJ/db)βⱼ、dJ/daⱼ = (dJ/dzⱼ)zⱼ(1 − zⱼ)、dJ/dαⱼᵢ = (dJ/daⱼ)xᵢ、dJ/dxᵢ = Σⱼ(dJ/daⱼ)αⱼᵢ。逐行推导和要改的地方见下方完整例题。
完整例题
题面(课件 p.48):前向为 aⱼ = Σᵢ αⱼᵢxᵢ → zⱼ = σ(aⱼ) → b = Σⱼ βⱼzⱼ → y = σ(b) → J(交叉熵)。按反向顺序写出 dJ/dy、dJ/db、dJ/dβⱼ、dJ/dzⱼ、dJ/daⱼ、dJ/dαⱼᵢ、dJ/dxᵢ,并指出课件原表需要改的地方。
解法:
- dJ/dy:课件原式是 y*/y + (1 − y*)/(y − 1),配的是漏了负号的 J;按交叉熵应取它的相反数,−y*/y + (1 − y*)/(1 − y)。
- dJ/db = (dJ/dy)(dy/db),dy/db = exp(−b)/(exp(−b) + 1)² = y(1 − y)。两者相乘化简为 y − y*。
- dJ/dβⱼ = (dJ/db) · zⱼ,本地导数 db/dβⱼ = zⱼ,用的是前向时存下的隐藏值。
- dJ/dzⱼ = (dJ/db) · βⱼ,这一行把梯度从输出层传到隐藏层。
- dJ/daⱼ = (dJ/dzⱼ) · zⱼ(1 − zⱼ),就是隐藏层版本的「乘 sigmoid 导数」。
- dJ/dαⱼᵢ = (dJ/daⱼ) · xᵢ。第 1 到 3 行是逻辑回归那页把 a、θ 换成 b、β,第 5、6 行在隐藏层里再做一遍。
- dJ/dxᵢ:课件写 (dJ/daⱼ) · Σⱼ αⱼᵢ,求和位置错了。对单个 j,daⱼ/dxᵢ = αⱼᵢ;xᵢ 影响所有隐藏节点,要在外面求和:dJ/dxᵢ = Σⱼ (dJ/daⱼ) αⱼᵢ,j 从 1 起,因为 z₀ 是常数偏置。
要点:每一行只依赖上一行的结果和前向存下的值,所以先前向、后反向。
答题格式:从 J 出发,每行写「上游导数 × 本地导数」,本地导数标明用了前向存下的哪个值。问某个权重的梯度时,沿 J → y → b → z → a → 该权重把各段相乘;一个变量走多条路径时把各路径的乘积相加。
变式题(先自己做)
(1) 自编情境:单隐藏层网络,两个输入、两个隐藏节点(sigmoid)、一个输出(sigmoid),不设偏置。x = (1, 2),α₁ = (0.1, 0.2),α₂ = (0.3, −0.1),β = (0.5, −0.4),y* = 1,损失用带负号的交叉熵。不看上文,按七行表求 J、dJ/dβ、dJ/dα 和 dJ/dx。 (2) 自编情境:逻辑回归,x = (1, 1, 2)(第一项是偏置输入),θ = (0.2, −0.3, 0.1),y* = 0。(a) 算出 y 和损失 J。(b) 写出 dJ/dθ,用 η = 0.5 更新一步,y 往哪个方向变? (3) 改编自课件 p.47:若误用课件原式(不带负号)的 J 做梯度下降,(2) 里会发生什么?
提示
(1) 先把前向的 a、z、b、y 全部算出来存着,再从 dJ/db = y − y* 开始往回乘;对 x 求导要把两个隐藏节点的贡献相加。(2) 用 dJ/dθⱼ = (y − y*)xⱼ,y* = 0 时梯度全为正。(3) 比较原式梯度和正确梯度的符号。
判分点与答案(非官方评分标准)
判分点:① 前向中间量齐全;② 反向每行写成上游 × 本地导数;③ dJ/dx 两路相加;④ (3) 说出方向相反、损失上升。
(1) 前向 a = (0.5, 0.1),z = (0.6225, 0.525),b = 0.5 × 0.6225 − 0.4 × 0.525 = 0.1012,y = 0.5253,J = −log 0.5253 = 0.6438。反向 dJ/db = −0.4747;dJ/dβ = (−0.2955, −0.2492);dJ/dz = (−0.2374, 0.1899);dJ/da = (−0.0558, 0.0474);dJ/dα₁ = (−0.0558, −0.1116),dJ/dα₂ = (0.0474, 0.0947);dJ/dx₁ = −0.0558 × 0.1 + 0.0474 × 0.3 = 0.0086,dJ/dx₂ = −0.0558 × 0.2 + 0.0474 × (−0.1) = −0.0159。有限差分核对一致;取 η = 0.5 走一步,J 降到 0.5597。
(2) (a) a = 0.1,y = 0.525,J = −log(1 − 0.525) = 0.7444。(b) 梯度 = 0.525 × (1, 1, 2) = (0.525, 0.525, 1.05);更新后 θ = (−0.0625, −0.5625, −0.425),新的 y = 0.1862,向真实标签 0 靠近,损失降到 0.206。
(3) 原式的梯度是 (y* − y)xⱼ,与正确梯度符号相反,「梯度下降」实际在增大交叉熵,y 会被推向 1。
闪卡自测
1. 链式法则说的是什么?
复合函数的导数等于每一环本地导数相乘;多条路径时各路径乘积相加。
2. 反向传播每一行的通用形式?
上游导数 × 本地导数(p.47–48)。
3. sigmoid 配交叉熵时 dJ/da 化简成什么?
y − y*,预测减真实值(p.47)。
4. 写出单隐藏层网络中 dJ/dαⱼᵢ 的链式展开。
dJ/dαⱼᵢ = (dJ/db) · βⱼ · zⱼ(1 − zⱼ) · xᵢ,依次对应 b 对 zⱼ、zⱼ 对 aⱼ、aⱼ 对 αⱼᵢ 的本地导数(p.48)。
5. 课件 dJ/dxᵢ 那一行错在哪?
求和放进了 daⱼ/dxᵢ。正确写法 dJ/dxᵢ = Σⱼ (dJ/daⱼ) αⱼᵢ,j 从 1 起(p.48)。
6. 为什么必须先做前向、再做反向?
反向每一行要用「上一行的结果」和「本层前向时存下的值」(zⱼ、xᵢ),没有前向存下的中间量就算不了本地导数(p.48)。
7. 反向传播和梯度下降各管什么?
反向传播算梯度,梯度下降用梯度更新参数。
下一讲
下一讲 L07a-1 讲卷积神经网络 CNN:把「逐层学特征」的思路用到图像上,ReLU 会成为默认的激活函数,训练它们用的仍是本页的反向传播。
个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。